前面的一系列文章的优化算法有一个共同的特点，就是对于每一个参数都用相同的学习率进行更新。但是在实际应用中各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。
adagrad方法是将每一个参数的每一次迭代的梯度取平方累加再开方，用基础学习率除以这个数，来做学习率的动态更新。这个比较简单，直接上公式。
公式推导
∇θiJ(θ) 表示第 i 个参数的梯度，对于经典的SGD优化函数我们可以这样表示
世界各地的企业都在迅速利用物联网( IoT )来创造新产品和服务，从而开辟新的商业机会并创造新的商业模式。 由此带来的转变开启了一个新的时代，即企业如何运营并与客户保持互动。然而，利用物联网只是故事的一部分。
为了让企业充分发挥物联网潜力，他们需要将物联网与快速发展的人工智能( AI )技术相结合，使“智能机器”能够模拟智能行为，并在很少或没有人为干预情况下做出明智决策。
人工智能( AI )和物联网( IoT )被认为是2017年颠覆业务的驱动因素。但是，这些2个术语到底意味着什么，他们之间的关系又是什么? 让我们首先定义这两个术语：
物联网被定义为由相互连接的物理对象、传感器、致动器、虚拟对象、人员、服务、平台和网络组成的系统，它们具有单独的标识符和独立传输数据能力。物联网应用例子包括智慧农业、智能家居、智能交通、远程患者监控和无人驾驶汽车等。总之，物联网是从环境中收集和交换信息的“物体”网络。
神经网络的基本思想是模拟计算机“大脑”中多个相互连接的细胞，这样它就能从环境中学习，识别不同的模式，进而做出与人类相似的决定。
典型的神经网络是由数千互连的人工神经元组成，神经元是构成神经网络的基本单位。这些神经元按顺序堆叠在一起，以称为层的形式形成数百万个连接。单位划分如下:
○ 输入单元：用于接收外部环境的信息；
○ 隐藏单元：隐藏层将所需的计算及输出结果传递给输出层；
○ 输出单元：输出信号表明网络是如何响应最近获得的信息。
多数神经网络都是“全连接的”，也就是说，每一个隐藏单元和输出单元都与另一边的所有单元相连接。每个单元之间的连接称为“权重”，权重可正可负，这取决于它对另一个单元的影响程度。权重越大，对相关单元的影响也就越大。
前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。
下面将就神经网络与深度学习发展的几大重要趋势进行讨论：
胶囊网络（Capsule Networks）
前面几篇文章介绍的是图像的空间域滤波，其对像素的处理都是基于像素的某一邻域进行的。本文介绍的图像的灰度变换则不同，其对像素的计算仅仅依赖于当前像素和灰度变换函数。
灰度变换也被称为图像的点运算（只针对图像的某一像素点）是所有图像处理技术中最简单的技术，其变换形式如下：
图像灰度变换的有以下作用：
• 改善图像的质量，使图像能够显示更多的细节，提高图像的对比度（对比度拉伸）
• 有选择的突出图像感兴趣的特征或者抑制图像中不需要的特征
• 可以有效的改变图像的直方图分布，使像素的分布更为均匀
常见的灰度变换
灰度变换函数描述了输入灰度值和输出灰度值之间变换关系，一旦灰度变换函数确定下来了，那么其输出的灰度值也就确定了。可见灰度变换函数的性质就决定了灰度变换所能达到的效果。
一、理论基础
1、三维场景中创建图像
第一步：透视投影。这是一个将三维物体的形状投影到图像表面上的几何过程，这一步只需要连接从对象特征到眼睛之间的线，然后在画布上绘制这些投影线与图像平面相交的轮廓。
第二步：添加颜色。图像轮廓绘制好之后，给它的骨架添加颜色，这样就完成了三维场景中的图像创建过程。
一、分类模型评估
1、混淆矩阵（confusion matrix）
TP(True Positive) —- 将正类预测为正类数
FN(False Negative) —- 将正类预测为负类数
FP(False Positive) —- 将负类预测为正类数
TN(True Negative) —- 将负类预测为负类数
为什么要使用卷积呢？
在传统的神经网络中，比如多层感知机（MLP），其输入通常是一个特征向量，需要人工设计特征，然后将这些特征计算的值组成特征向量，在过去几十年的经验来看，人工找到的特征并不是怎么好用，有时多了，有时少了，有时选择的特征根本就不起作用（真正起作用的特征在浩瀚的未知里面）。这就是为什么在过去卷积神经网络一直被SVM等完虐的原因。
如果有人说，任何特征都是从图像中提取的，那如果把整副图像作为特征来训练神经网络不就行了，那肯定不会有任何信息丢失！那先不说一幅图像有多少冗余信息，单说着信息量就超级多。。。
假如有一幅1000*1000的图像，如果把整幅图像作为向量，则向量的长度为1000000（10^6）。在假如隐含层神经元的个数和输入一样，也是1000000；那么，输入层到隐含层的参数数据量有10^12，妈呀，什么样的机器能训练这样的网络呢。所以，我们还得降低维数，同时得以整幅图像为输入（人类实在找不到好的特征了）。于是，牛逼的卷积来了。接下来看看卷积都干了些啥。
CNN卷积神经网络层级结构
物联网无处不在，从智能家居到灾难管理运营等。在如此广泛的应用中，物联网安全应该是首要关注的问题。
物联网是一项热门技术，其应用范围从帮助人类做日常琐事到专业军事应用等。凭借其强大功能和能力，物联网安全已经成为人们和企业组织的关注点。在过去十年中，我们对物联网的依赖程度有所增加，然而，物联网的安全性并没有随之增加，黑客可以通过某些方式挑战和威胁我们的身体、经济和情感安全，正如人们说的那样，任何连接到互联网的东西都有可能被黑客攻击。
物联网安全如何岌岌可危?
目前黑客可通过多种方式对物联网进行攻击。过去曾有过很多连网设备由于各种原因被黑客攻击的事件，比较典型的例子是汽车在行驶过程中被黑客入侵，并远程控制了车辆。
由于任何连网软件都可能被黑客攻击，因此，黑客通过车辆娱乐系统远程操纵车辆，把汽车停在高速公路上，并关掉引擎。这让很多驾驶此类汽车的人感到惊慌，为了加剧人们的不安，这些黑客在最后阶段展示了他们如何远程禁用刹车，并操纵方向盘，让汽车朝着黑客操控的方向行驶。
人工智能的浪潮正在席卷全球，诸多词汇时刻萦绕在我们耳边：人工智能（Artificial Intelligence）、机器学习（Machine Learning）、深度学习（Deep Learning）。不少人对这些高频词汇的含义及其背后的关系总是似懂非懂、一知半解，那么他们之间有什么样的联系啦？
人工智能：从概念提出到走向繁荣
1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念，梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言，或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前，这两种声音还在同时存在。
2012年以后，得益于数据量的上涨、运算力的提升和机器学习新算法（深度学习）的出现，人工智能开始大爆发。据领英近日发布的《全球AI领域人才报告》显示，截至2017年一季度，基于领英平台的全球AI（人工智能）领域技术人才数量超过190万，仅国内人工智能人才缺口达到500多万。
上一篇文章讲解了犹如小球自动滚动下山的动量法（momentum）这篇文章将介绍一种更加“聪明”的滚动下山的方式。动量法每下降一步都是由前面下降方向的一个累积和当前点的梯度方向组合而成。于是一位大神（Nesterov）就开始思考，既然每一步都要将两个梯度方向（历史梯度、当前梯度）做一个合并再下降，那为什么不先按照历史梯度往前走那么一小步，按照前面一小步位置的“超前梯度”来做梯度合并呢？如此一来，小球就可以先不管三七二十一先往前走一步，在靠前一点的位置看到梯度，然后按照那个位置再来修正这一步的梯度方向。如此一来，有了超前的眼光，小球就会更加”聪明“, 这种方法被命名为Nesterov accelerated gradient 简称 NAG。