demi的博客

作者：张俊林

看深度学习文献，门函数基本上已经是你必然会遇到的一个概念了，最典型的就是LSTM，首先上来你就得过得去“遗忘门”“输入门”“输出门”这三个门。门函数本身是个独立概念，不过LSTM使用多个门函数来组合出一个带有状态记忆的计算模型而已。随着LSTM大行其道，各种计算模型开始在计算过程中引入门函数的概念，相信这些论文你也没少看，其实这也是一种研究模式，比如你看看你手头的模型，想想能不能把门函数引进来？会不会有效？也许能走得通。

RNN概念非常直接简单很好理解，但是看到了LSTM，估计不少人会挠头。学习LSTM刚开始看模型一般都不太容易立马搞明白到底这是怎么回事？其实很重要的原因一个是一下子引入了三个门，太多，另外一个是把记忆状态存储单独独立出来，所以看上去整个逻辑很复杂，其实你要是把门函数到底在干嘛搞清楚，那么LSTM的计算逻辑是非常清晰直接好理解的，跟RNN在概念上其实是一样的。所以首先得搞明白“门函数”们到底在干什么事情。

猪家的神经网络门控系统

1、初识深度信念网络

深度信念网络是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。

DBNs由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的网络结构如图1所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

2、需要面对的问题

主要讲了Logistic regression的内容，里面涉及到很多基本概念，是学习神经网络的基础。下面我们由Logistic regression升级到神经网络，首先我们看看“浅层神经网络（Shallow Neural Network）”

一、什么是神经网络

我们这里讲解的神经网络，就是在Logistic regression的基础上增加了一个或几个隐层（hidden layer），下面展示的是一个最最最简单的神经网络，只有两层：

两层神经网络：

需要注意的是，上面的图是“两层”，而不是三层或者四层，输入和输出不算层!

这里，我们先规定一下记号（Notation）：

这篇文章讨论并尝试实际测量了不同文本嵌入模型中的性别偏差。

2018(第九届)清洁发展国际融资论坛上，北京交通大学人工智能研究院常务副院长、教授于剑先生从专业角度回顾了人工智能的发展历程，并介绍了深度学习的适用范围和所面临的问题。他指出，深度学习是机器学习领域最引人注目的研究方向，但没有任何一种算法可以解决机器学习所有的应用。

深度学习算法的分类

深度学习在早期被称为神经网络。神经网络是一种特殊的学习方式，在神经网络领域，人们将学习定义为“基于经验数据的函数估计问题”。需要指出，这样的学习定义虽然非常片面，但对于神经网络而言已经够用了。如此一来，如何构造函数，并应用经验数据将其估计出来，就成了神经网络面临的首要问题。

学习算法的分类有很多种。一种分类方式是将学习算法分为傻瓜型学习算法与专家型学习算法。所谓傻瓜型学习算法，就是任何人使用得到的结果都差别不大的学习算法。所谓专家型学习算法，就是专家与普通人使用得到的结果差别巨大的学习算法，每个人得出的结果很难一致。当然，中间还有一些处于两者之间的学习算法，既不是纯傻瓜型的也是不纯专家型的。

在2018世界机器人大会17日的主论坛上，中国电子学会发布《新一代人工智能领域十大最具成长性技术展望（2018-2019年）》。

当前，全球正在经历科技和产业高度耦合、深度迭加的新一轮变革，大数据的形成、理论算法的革新、计算能力的提升及网络设施的演进驱动人工智能进入新一轮创新发展高峰期，新技术持续获得突破性进展，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等以应用为导向的新特征。加强新一代人工智能技术的前瞻预判，准确把握全球技术创新动态及发展趋势，将为行业健康发展、资金有序进入、政策规划出台、新兴市场开拓等提供具备决策参考价值和实践指导意义的智力支撑。

围绕于此，中国电子学会依据国家出台的《新一代人工智能发展规划》、《促进新一代人工智能产业发展三年行动计划（2018-2020年）》等一系列政策规划，调研走访了一批在新一代人工智能技术及产业方面具备领先水平和特色的龙头企业，组织拜访了来自于知名高校、研究机构的人工智能相关领域专家学者，系统梳理了权威智库和知名战略咨询公司的最新报告，遴选了十项最具特色的成长性技术，得出以下结论：

1、对抗性神经网络

近年来，物联网、云计算、大数据、人工智能等专业名词愈来愈成为信息产业和科学技术界的热门词汇，这四者紧紧相连、密切相关、不可分割。

物联网

顾名思义，物联网就是物物相连的互联网。与其说物联网是网络，不如说物联网是业务和应用。它是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段,是一个动态的、不断拓展深化的过程。

云计算

背景介绍

这些年，物联网的快速发展，也令连网设备的数量与日俱增。然而，有网络的地方就会有安全问题，根据安全研究员曝光的数据显示，物联网领域存在着诸多漏洞，从无线智能玩偶到重达数吨的汽车，无一幸免。好的方面是，这也令越来越多的公司关注并重视物联网的安全问题。

如今，越来越多的员工都已经在家中部署了各种各样的物联网设备，甚至还会将这些设备连接企业网络进行办公，如此一来，势必会引爆更大的安全危机。与此同时，工业物联网也正面临同样的安全问题，员工所拥有并使用的物联网系统已经成为影响工业物联网安全的第二个主要威胁面。

根据Gartner最新发布的报告指出，近20%的企业机构在过去三年内至少观察到一次基于物联网的攻击。为了应对这些威胁，Gartner预测全球物联网安全支出将在2018年达到15亿美元，相比2017年的12亿美元增加了28%。

针对物联网设备的安全问题，需要提高黑客攻击物联网设备的成本，降低物联网设备的安全风险。我们将从7个攻击面对设备进行安全评估分析，并给出应对措施。大家可以根据表单核查自身安全状况，有则改之无则加勉。

本文延续该系列的上一篇 深度学习优化函数详解（0）– 线性回归问题。

上一篇讲到了最基本的线性回归问题，最终就是如何优化参数 a, b 寻找最小的 loss

显然loss函数是一个二次函数，问题就转化成了如何求二次函数的最小值。我们再举一个更简单的例子，假设我们要优化的函数是 y = x₂，初始条件我们选择了x⁰ = 2,y⁰ = 4,画在图上如下：

在走进深度学习的过程中，最吸引作者的是一些用于给对象分类的模型。最新的科研结果表示，这类模型已经可以在实时视频中对多个对象进行检测。而这就要归功于计算机视觉领域最新的技术革新。

众所周知，在过去的几年里，卷积神经网络（CNN或ConvNet）在深度学习领域取得了许多重大突破，但对于大多数人而言，这个描述是相当不直观的。因此，要了解模型取得了怎样大的突破，我们应该先了解卷积神经网络是怎样工作的。

卷积神经网络可以做些什么？

卷积神经网络用于在图像中寻找特征。在CNN的前几层中，神经网络可以进行简单的"线条"和"角"的识别。我们也可以通过神经网络向下传递进而识别更复杂的特征。这个属性使得CNN能够很好地识别图像中的对象。

卷积神经网络

CNN是一个包含各种层的神经网络，其中一些层是卷积层、池化层、激活函数。

卷积层是如何工作的？

要了解CNN如何工作，你需要了解卷积。卷积涉及浏览图像和应用滤波器等具体内容。