在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。
1. 梯度
在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0, ∂f/∂y0)T.或者▽f(x0,y0)，如果是3个参数的向量梯度，就是(∂f/∂x, ∂f/∂y，∂f/∂z)T,以此类推。
作者 | Daniel Newman
译者 | Sambodhi
编辑 | Vincent
人工智能是企业和国家争夺控制权的前沿技术，2018 年我们已经看到了人工智能出现一些重大进步，那么 2019 年会怎么样呢？让我们看看 Daniel Newman 的预测！
在过去的几年里，机器学习和人工智能一直是人们茶余饭后的谈资，而且这些炒作看上去近期并没有放缓的迹象。但我相信，2019 年将是那些企业等待上船，并见证其行业发展“挖出金矿”的一年。那么，明年我们可能会看到什么呢？会是机器学习的革命性新用途吗？人机交互会不会进一步发展呢？还是人工智能助理全面崛起？让我们深入研究未来几个月的人工智能和机器学习的预测吧！
跨行业机器学习的新用途
在面对像机器学习这样的先进技术时，没有哪个行业不会从中受益。我的意思是说，企业要怎么才能利用能够使他们更成功的技术呢？在接下来的一年里，机器学习在所有这些行业中，将会涌现许多新的用途，我并不是仅仅指营销和销售方面。
本文简要介绍了什么是循环神经网络及其运行原理，并给出了一个 RNN 实现示例。
什么是循环神经网络（RNN）？它们如何运行？可以用在哪里呢？本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展。
基础知识。Python、CNN 知识是必备的。了解 CNN 的相关知识，是为了与 RNN 进行对比：RNN 为什么以及在哪些地方比 CNN 更好。
我们首先从「循环」（Recurrent）这个词说起。为什么将其称为循环？循环的意思是：
经常或重复出现
将这类神经网络称为循环神经网络是因为它对一组序列输入重复进行同样的操作。本文后续部分将讨论这种操作的意义。
本章给大家介绍一种用于预测的算法——逻辑回归（logistic regression）
给定一个输入特征向量x（例如你想要识别的图像——是否有猫），你需要一个算法进行计算之后进行结果输出（在这里我们用的是逻辑回归算法）。这个被输出的预测结果我们称为y^y^，假设y是1，如果预测得很准的话y^y^可能会是0.99）。
上图第一个公式中的x是个(n,1)维的矩阵，表示一个训练样本，里面的n表示一个训练样本中的特征数量，例如一张图片就是一个训练样本，图片中每个颜色强度值就是一个特征；w也是一个(n,1)维的矩阵，它表示权重（weight），它一一对应于每个输入的特征，也可以说它指示了某个特征的重要程度；b是一个实数，在这里可以将其看作为一个阀值。
一、roc曲线
1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。
横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)
纵轴：真正类率(true postive rate TPR)灵敏度，Sensitivity(正类覆盖率)
2、针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.
(1)若一个实例是正类并且被预测为正类，即为真正类(True Postive TP)
(2)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN)
(3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP)
(4)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN)
TP：正确的肯定数目
FN：漏报，没有找到正确匹配的数目
一、介绍
在电力需求增长的环境下，未来智能电网的设计要运行更加可靠、经济和高效。然而，要实现这一目标，需要通过与数据通信的巨大增长相结合，然而，数据通信为各种网络攻击提供了大把的机会。因此，确保智能电网的网络安全是重中之重。虽然发布了大量的对抗措施,如通信标准(如IEC 61850-90-5 [1])、法律法规(如Colorado法规(CCR) 723-3)、加密实现(如，安全通道[7])，以及官方指南(如NISTIR 7628指南[8])，目前智能电网仍然容易受到网络攻击。
为了防止网络攻击，传统电网依赖于传统安全方案(如，防火墙和一般入侵检测系统)。入侵检测系统(IDS)能够通过持续的监视网络流量或系统日志对潜在入侵进行警报。虽然在网络安全社区有一些关于IDS的研究，但是在智能电网方面所作的努力是有限的。同时，在电力网络中针对数据可用性和完整性的攻击风险是真实存在的。Liu等人[16]提出了一个值得关注的问题，即一种叫作虚假数据注入(FDI)的攻击类型，该攻击类型针对的是国家电网系统中的状态估计。在这种攻击中，攻击者的目标是绕过现有不良数据检测系统，并通过故意改变电力系统的估计状态对电力系统运行造成损害。因此,迫切需要一个有效的智能电网专用入侵检测系统。
近年来，随着一些强大、通用的深度学习框架相继出现，把卷积层添加进深度学习模型也成了可能。这个过程很简单，只需一行代码就能实现。但是，你真的理解“卷积”是什么吗？当初学者第一次接触这个词时，看到堆叠在一起的卷积、核、通道等术语，他们往往会感到困惑。作为一个概念，“卷积”这个词本身就是复杂、多层次的。
在这篇文章中，我们将分解卷积操作的机制，逐步将其与标准神经网络联系起来，探索它们是如何建立起强大的视觉层次结构，并最终成为强大的图像特征提取器的。
2D卷积：操作
2D卷积是一个相当简单的操作：我们先从一个小小的权重矩阵，也就是卷积核（kernel）开始，让它逐步在二维输入数据上“扫描”。卷积核“滑动”的同时，计算权重矩阵和扫描所得的数据矩阵的乘积，然后把结果汇总成一个输出像素。
每天数百万的机器和设备首次连接到互联网，公司企业在通过边缘计算改变我们看待云基础设施的方式，以此挑战传统架构。事实上，Gartner预计40%以上的企业IT部门将采用边缘计算策略，比去年增加1%。
当下，边缘计算继续是业界讨论的热门话题，因为更多的传感器、移动设备和功能强大的应用程序将数据推向我们网络的边缘。更多的公司继续将计算资源放在网络边缘，尽量靠近生成数据和洞察力的设备。
随着企业组织开始关注边缘计算，各种误解正在给它们的潜在迁移蒙上阴影。
下面是与边缘计算资源相关的三个误区。
第一个误区：边缘计算是资源密集型的
尽管边缘计算需要典型数据中心外面的本地资源，但所需的资源极少。边缘处的标准或甚至小型数据中心并非连接和处理网络边缘的数据所必不可少的。
边缘计算在网络边缘处理数据，信息在边缘处生成，边缘处的远程主数据中心或云具有有限的功能。通过将计算源放在收集数据的源端的旁边，我们可以显著提升应对网络安全泄密等事件的能力，或者充分利用市场和消费者行为方面的实时变化。
人工智能与大数据能否纠正人类种族歧视？
人工智能技术在科技企业不断地深度学习和技术创新等方面的推动之下，也在不断地取得突破。金融、交通、医疗、教育、农业、制造业等场景的应用需求和切合确定场景的商业模式出现推动人工智能技术的快速发展。随着人工智能在移动互联网、智能家居等领域的发展，我国的人工智能产业也将持续性、高速地成长。预计到2022年，我国人工智能行业的市场规模将达到680亿元。
未来国内人工智能行业发展的五大趋势：
一、机器学习与场景应用将迎来下一轮爆发
根据VentureScanner的统计，截至2018年6月，全球人工智能领域获得投资的公司中，按照平均融资额度排名的五大业务依次是：机器学习(应用类)、智能机器人、计算机视觉(研发类)、机器学习(研发类)和视频内容识别等。
目前中国地区人工智能领域获得投资最多的五大细分领域是计算机视觉(研发类)、自然语言处理、私人虚拟助理、智能机器人和语音识别。从投资领域和趋势来看，未来国内人工智能行业的资本将主要涌向机器学习与场景应用两大方向。