深度学习

深度学习对社会和个人的生活将产生深远的影响，其影响方式也是难以想象的。未来若干年，它又将如何影响我们所处的世界？如何让深度学习为个人和生产赋能，发挥作用呢？神经网络的先驱、全球AI专业会议NIPS基金会主席特伦斯·谢诺夫斯基在其新书《深度学习：智能时代的核心驱动力量》中，首次以亲历者视角，前瞻性的提出了未来人工智能发展的8大重要预判。

之前在《移动和无线网络的深度学习综述（一）》的文章了分享了论文的摘要和Itroduction的内容。 在本文，你可以了解到： 论文的第二节，相关的论文和这篇综述的范围；论文的第三节，深度学习101。

Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。

机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

接下来一步一步的理解什么是BN。

为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network，BN本质上也是解释并从某个不同的角度来解决这个问题的。

深度学习中的卷积

当提到神经网络中的卷积时，我们通常是指由多个并行卷积组成的运算。（因为单个核只能特区一种类型的特征，我们usually希望可以在多个位置提取多个特征）

输入也不仅仅是实值的网格，而是由一系列观测数据的向量构成的网格。

我们有的时候会希望跳出核中的一些位置来降低计算的开销（相应的代价是提取特征没有先前那么好了）我们就把这个过程看作对全卷积函数输出的下采样(downsampling).如果只是在输出的每个方向上每间隔s个像素进行采样，那么可重新定义一个 下采样卷积函数。我们把s称为下采样卷积的步幅（stride）。

在任何卷积网络的实现中都有一个重要性质：能够隐含地对输入V用零进行填充（pad）使得它加宽。

普遍意义的卷积

从数学上讲，卷积只不过是一种运算，对于很多没有学过信号处理，自动控制的同学来说各种专业的名词可以不做了解。我们接着继续：

对于很多初入学习人工智能的学习者来说，对人工智能、机器学习、深度学习的概念和区别还不是很了解，有可能你每天都能听到这个概念，也经常提这个概念，但是你真的懂它们之间的关系吗？那么接下来就给大家从概念和特点上进行阐述。先看下三者的关系。

大数据造就了深度学习，通过大量的数据训练，我们能够轻易的发现数据的规律，从而实现基于监督学习的数据预测。基于卷积神经网络的深度学习（包括CNN、RNN），主要解决的领域是 图像、文本、语音，问题聚焦在 分类、回归。

2012年左右，多伦多大学的研究人员首次使用深度学习来赢下了ImageNet，它是一项非常受欢迎的计算机图像识别竞赛。对于那些参与AI行业的人来说，这是一个大问题，因为计算机视觉是使计算机能够理解图像背景的学科，也是人工智能中最具挑战性的领域之一。

当然，与任何其他产生巨大影响的技术一样，深度学习成为炒作的焦点。不同的公司和组织开始应用它来解决不同的问题（或假装应用它）。许多公司开始使用深度学习和先进的人工智能技术重塑其产品和服务。

与此同时，媒体也经常撰写有关人工智能和深度学习的故事，这些故事充满误导性，并且大多是由那些对技术运作方式没有正确理解的人撰写。他们大多使用关于人工智能的耸人听闻的头条来博眼球，这些也促成了围绕深度学习的炒作。

经过媒体的炒作后，许多专家认为深度学习被夸大了，它最终会消退并可能导致另一个人工智能冬季，从而使人们对人工智能的兴趣和资金投入大幅下降。其中一些著名专家也承认，深度学习已经触底，其中包括一些深入学习的先驱者。

但根据著名数据科学家和深度学习研究员杰里米·霍华德的说法，“深度学习过度夸大”的论点有点夸张。霍华德是fast.ai的创始人，fast.ai是一个非营利性的在线深度学习课程。

本文主要介绍计算机视觉中主要的五大技术，分别为图像分类、目标检测、目标跟踪、语义分割以及实例分割。针对每项技术都给出了基本概念及相应的典型方法，简单通俗、适合阅读。计算机视觉是当前最热门的研究之一，是一门多学科交叉的研究，涵盖计算机科学（图形学、算法、理论研究等）、数学（信息检索、机器学习）、工程（机器人、NLP等）、生物学（神经系统科学）和心理学（认知科学）。由于计算机视觉表示对视觉环境及背景的相对理解，很多科学家相信，这一领域的研究将为人工智能行业的发展奠定基础。

作者：陆勤。最近开始研究通信领域的先进机器学习技术，本科学的是通信工程，工作做的是机器学习，5G的到来，智能移动网络的需求和应用，预示着通信领域需要先进的机器学习技术，同时，也会带来新的挑战和机遇。

卷积神经网络作为深度学习的典型网络，在图像处理和计算机视觉等多个领域都取得了很好的效果。

Paul-Louis Pröve在Medium上通过这篇文章快速地介绍了不同类型的卷积结构（Convolution）及优势。为了简单起见，本文仅探讨二维卷积结构。

卷积

首先，定义下卷积层的结构参数。

卷积核大小（Kernel Size）：定义了卷积操作的感受野。在二维卷积中，通常设置为3，即卷积核大小为3×3。

步幅（Stride）：定义了卷积核遍历图像时的步幅大小。其默认值通常设置为1，也可将步幅设置为2后对图像进行下采样，这种方式与最大池化类似。