CNN 主要干了什么
CNN主要实现的就是特征提取，最经典的应用就是从多个图片中提取出有用的信息。这个过程对于人来说是个黑盒的过程，人们并不能很确切的知道里面发生了什么。结果也是非常抽象的，但是却能学习到很好的效果。
一个CNN的结构： 输入→卷积→ReLU→卷积→ReLU→池化→ReLU→卷积→ReLU→池化→全连接
CNN 的训练就是训练Filter的参数 3x3 5x5 的矩阵
每次训练之后，cnn都会更新Filter的参数，filter参数更新后，把图片再跑一边，就能得到新的结果。
Filter的个数就是你想获得的feature的个数。一张图片想提出出来多少个特征就用多少个filter。
学习完成后，filter的参数就固定了。 来一张新的图片，用这个filter做一遍卷积的运算，就能算出来哪个feature更加适合这张图片，也就能判断出这张图片是什么类别。
Filter
Filter（过滤器）也被称为神经元或者核(Kernal) ，过滤器可以被看成是特征标识符（ feature identifiers）。这里的特征指的是例如直边缘、原色、曲线之类的东西。想一想所有图像都共有的一些最简单的特征。
卷积层
卷积层就是一个Filter扫过整个图片获得的结果
例子：
在一个长宽为256*256的图片上用3*3的filter进行卷积操作，并输出一个64维的向量
model.add(Convolution2D(64, 3, 3, border_mode='same', input_shape=(3, 256, 256)))
输出为 model.output_shape == (None, 64, 256, 256)
model.add(Convolution2D(32, 3, 3, border_mode='same'))
输出为 model.output_shape == (None, 32, 256, 256)
MaxPooling
Pooling层对于卷积层进行了个一个降维的操作。 Max Pooling是对一个卷积层抽取的特征值取最大的值作为这个层的保留值， 其他值全部抛弃，这个值代表了特征值种最显著的特征。他可以减少模型的参数数量，减少过拟合的问题。
全连接层
完全连接层观察高级特征和哪一分类最为吻合和拥有怎样的特定权重，因此当计算出权重与先前层之间的点积后，你将得到不同分类的正确概率。
全连接层起到的是将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽
Reference: https://www.zhihu.com/question/52668301/answer/131573702
全链接层在Keras中的实现
Keras中的Dense的意义是这么定义的
keras.layers.Dense(units, activation=None, use_bias=True) 只看几个简单的参数。
Dense实现的其实就是 output = activation(dot(input, kernel) + bias)，他包括了 几个组件 输入, kernel, 激活函数
输入和kernel的点积经过激活函数后（可以再加bias）的输出。
units 就是你想输出的维数。
activation 就是激活函数
use_bias 就是你想不想用偏移向量
注意这里kernel的大小的计算是keras layer层自己计算出来的 我们可以指定一个特殊的算法 但是不需要我们自己计算
Batch Normalization(简称BN)方法
BN是一个非常有效的正则化方法，可以让大型卷积网络的训练速度加快很多倍，同时收敛后的分类准确率可以的到大幅度提高。
BN在用于神经网络某层时，会对每一个mini-batch数据的内部进行标准化处理，使输出规范化到(0,1)的正态分布，减少了Internal Covariate Shift(内部神经元分布的改变)。BN论文指出，传统的深度神经网络在训练时，每一层的输入的分布都在变化，导致训练变得困难，我们只能使用一个很小的学习速率解决这个问题。而对每一层使用BN之后，我们可以有效的解决这个问题，学习速率可以增大很多倍，达到之间的准确率需要的迭代次数有需要1/14，训练时间大大缩短，并且在达到之间准确率后，可以继续训练。以为BN某种意义上还起到了正则化的作用，所有可以减少或取消Dropout，简化网络结构。
版权声明：本文为CSDN博主「lee813」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/lee813/article/details/82141526
