深度学习

深度神经网络在2012年兴起，当时深度学习模型能够在传统机器学习问题，例如图像分类和语音识别，击败最先进的传统方法。这要归功于支撑深度学习的各种哲学思想和各种思维。神经网络中经过池化后，得到的是突出化的概括性特征。相比使用所有提取得到的特征，不仅具有低得多的维度，同时还可以防止过拟合。

IoU是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxex)的任务都可以用IoU来进行测量。为了可以使IoU用于测量任意大小形状的物体检测，我们需要：① ground-truth bounding boxes（人为在训练集图像中标出要检测物体的大概范围）②我们的算法得出的结果范围。

随着智能家居市场的逐渐成熟，入局的玩家越来越多，看清未来几年的行业趋势，有助于企业更好地决策。2019年智能家居呈现出五大趋势：①语音控制的产品形态增多②技术推动智能家居发展③全屋智能④家居安全成关注重点⑤智能家居B端市场热火朝天

2018年已经结束，现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾：

关于2017年预测和回顾。2017的预测涵盖了硬件加速，卷积神经网络（CNN）的主导地位，元学习，强化学习，对抗性学习，无监督学习，迁移学习，以及作为组成部分的深度学习(DL)，设计模式和超越理论的实验。

关于2018年预测与回顾。2018年的预测涵盖了硬件初创公司，元学习取代SGD，生成模型，自我博弈，语义差距，可解释性，海量数据研究，教学环境，会话认知和人工智能伦理。

通过回顾我的预测表明，我发现我太乐观了，高估了技术发展的速度。总的来说，社区一直处于一种夸大的期望状态。事后看来，是因为忽略了一般认知的潜在复杂性。我们现在必须降低期望，并专注于有希望的领域。这些有希望的领域将逐步取得进展而不是“moon shots”(注：一个疯狂的想法或者不大可能实现的项目)。

革命性进展应该分阶段发生，我们今天遇到的是实现Interventional level的主要障碍。这并不意味着我们不能取得任何进展，而是在目前的成熟度水平中有许多悬而未决的成果，而这些成果已经准备好进行开发，DL在2019年的进展将主要围绕这一务实的认识。

以下是我的预测，与前几年一样，它们可作为跟踪DL进度的指南。

前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经网络(Recursive neural network)和基于序列结构的循环神经网络(Recurrent neural network)，在4类NLP任务上进行实验，来讨论深度学习模型何时需要树形结构。下面我将通过分享这篇论文以及查看的一些相关资料来讨论一下我们何时需要树形结构知识。

1 句法分析树

根据不同的标注树库，句法分析树主要有两种形式：
1) 短语结构树(Constituent Tree)
2) 依存结构树(Dependency Tree)。

下面举个简单的例子，"My dog likes eating sausage." 使用Stanford parsing tool进行句法分析可以得到如下结果：

大数据、人工智能是目前大家谈论比较多的话题，它们的应用也越来越广泛、与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。

深度学习对社会和个人的生活将产生深远的影响，其影响方式也是难以想象的。未来若干年，它又将如何影响我们所处的世界？如何让深度学习为个人和生产赋能，发挥作用呢？神经网络的先驱、全球AI专业会议NIPS基金会主席特伦斯·谢诺夫斯基在其新书《深度学习：智能时代的核心驱动力量》中，首次以亲历者视角，前瞻性的提出了未来人工智能发展的8大重要预判。

之前在《移动和无线网络的深度学习综述（一）》的文章了分享了论文的摘要和Itroduction的内容。 在本文，你可以了解到： 论文的第二节，相关的论文和这篇综述的范围；论文的第三节，深度学习101。

Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。

机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

接下来一步一步的理解什么是BN。

为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network，BN本质上也是解释并从某个不同的角度来解决这个问题的。

深度学习中的卷积

当提到神经网络中的卷积时，我们通常是指由多个并行卷积组成的运算。（因为单个核只能特区一种类型的特征，我们usually希望可以在多个位置提取多个特征）

输入也不仅仅是实值的网格，而是由一系列观测数据的向量构成的网格。

我们有的时候会希望跳出核中的一些位置来降低计算的开销（相应的代价是提取特征没有先前那么好了）我们就把这个过程看作对全卷积函数输出的下采样(downsampling).如果只是在输出的每个方向上每间隔s个像素进行采样，那么可重新定义一个 下采样卷积函数。我们把s称为下采样卷积的步幅（stride）。

在任何卷积网络的实现中都有一个重要性质：能够隐含地对输入V用零进行填充（pad）使得它加宽。

普遍意义的卷积

从数学上讲，卷积只不过是一种运算，对于很多没有学过信号处理，自动控制的同学来说各种专业的名词可以不做了解。我们接着继续：