CNN

我们知道在CNN网络中，会有各种size的卷积层，比如常见的3x3,5x5等，卷积操作是卷积核在图像上滑动相乘求和的过程，起到对图像进行过滤特征提取的功能。

卷积神经网络由输入层，卷积层，激活函数，池化层，全连接层组成。卷积操作是使用一个二维的卷积核在一个批处理的图片上进行不断扫描。具体操作是将一个卷积核在每张图片上按照一个合适的尺寸在每个通道上面进行扫描。

卷积层输入特征图(input feature map)的尺寸为

在卷积神经网络中，感受野是一个非常重要的概念，今天，我们具体来看一下感受野的相关概念以及如何计算感受野。

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。

预处理的时候0中心化，最好数据增强一下，找预训练模型，ReLU激活函数，3*3卷积核，xavier初始化，sgd+momentum或者adam比较好用，bn(可以调大学习率，收敛很快)，dropout(有bn可以去掉，最好加上，会训练慢一些)，batch_size大一点，另外，多尺度训练效果拔群,前几层卷积核可以多一些。

随着深度卷积神经网络（CNN）在图像处理领域的快速发展，它已经成为机器视觉领域的一种标准，如图像分割、对象检测、场景标记、跟踪、文本检测等。然而，想要熟练掌握训练神经网络的能力并不是那么容易。比如，我们常常会遇到如下问题。你的数据和硬件有什么限制？你应该是从何种网络开始？你应该建立多少与卷积层相对的密集层？你的激励函数怎样去设置？即使你使用了最流行的激活函数，你也必须要用常规激活函数。

一般而言，深度卷积网络是一层又一层的。层的本质是特征图, 存贮输入数据或其中间表示值。一组卷积核则是联系前后两层的网络参数表达体, 训练的目标就是每个卷积核的权重参数组。

全连接神经网络，需要的参数过多，例如1000*1000的图像，则输入层有10^6个节点，若隐藏层也有10^6个节点，则输入层到隐藏层的参数有10^12个。CNN用局部感知和权值共享大大减少了参数，同时还具备其它优点。它们与自然图像自身具有的特性：特征的局部性与重复性完美贴合。

CNNs是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向BP算法的训练性能。CNNs作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。