卷积神经网络

我们都知道，卷积核的作用在于特征的抽取，越是大的卷积核尺寸就意味着更大的感受野，当然随之而来的是更多的参数。早在1998年，LeCun大神发布的LetNet-5模型中就会出，图像空域内具有局部相关性，卷积的过程是对局部相关性的一种抽取。 但是在学习卷积神经网络的过程中，我们常常会看到一股清流般的存在—1*1的卷积！

这是一篇关于CNN（卷积神经网络）的简单指南，本文将介绍CNN如何工作，以及如何在Python中从头开始构建一个CNN。

本文将介绍一种非常重要的神经网络——卷积神经网络。这种神经网络在计算机视觉领域取得了重大的成功，而且在自然语言处理等其它领域也有很好的应用。深度学习受到大家的关注很大一个原因就是Alex等人实现的AlexNet在LSVRC-2010 ImageNet这个比赛中取得了非常好的成绩。此后，卷积神经网络及其变种被广泛应用于各种图像相关任务。

在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。图像具有一种"静态性"的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。

LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。可以说，LeNet-5就相当于编程语言入门中的“Hello world！”。

接触机器学习的时间还比较短，对于训练的结果往往无法解释，不知道为什么好，也不知道为什么不好。所以罗列了一下卷积神经网络中设置的参数，希望能有所帮助。

在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)

本文探讨卷积神经网络（CNN）的内部工作原理。你可能想知道这些网络中发生了什么？他们是如何学习的？本质上，CNN正在学习过滤器并将它们应用于图像。这些与你应用于Instagram自拍的滤镜不同，但概念并没有那么不同。CNN采用一个小方块并开始在图像上应用它，这个方块通常被称为"窗口"。

卷积神经网络中的权值更新也是使用误差的反向传播算法。损失函数一般使用最小平方误差函数。由于卷积网络中存在两部分区域：卷积区和全连接区，它们在计算损失时有所不同我们将其分开进行讨论。

CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。