CNN

卷积和反卷积在CNN中经常被用到，想要彻底搞懂并不是那么容易。本文主要分三个部分来讲解卷积和反卷积，分别包括概念、工作过程、代码示例，其中代码实践部分主结合TensorFlow框架来进行实践。给大家介绍一个卷积过程的可视化工具，这个项目是github上面的一个开源项目。

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。

在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)

CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的对比，以及各种组合方式。

CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。

学习RCNN系列论文时， 出现了感受野(receptive field)的名词， 感受野的尺寸大小是如何计算的，在网上没有搜到特别详细的介绍， 为了加深印象，记录下自己对这一感念的理解，希望对理解基于CNN的物体检测过程有所帮助。

在图像识别中，卷积神经网络（CNN）无疑是现在最先进的方法。CNN的基础操作是对图像中的局部区域做卷积提取特征，在每一层的卷积中使用相同的卷积核（共享参数）以减少参数数量，再结合池化（pooling）操作可以实现位移不变性的识别。

深度学习中CNN网络是核心，对CNN网络来说卷积层与池化层的计算至关重要，不同的步长、填充方式、卷积核大小、池化层策略等都会对最终输出模型与参数、计算复杂度产生重要影响，本文将从卷积层与池化层计算这些相关参数出发，演示一下不同步长、填充方式、卷积核大小计算结果差异。

深度卷积神经网络（CNN）是一种特殊类型的神经网络，在各种竞赛基准上表现出了当前最优结果。深度 CNN 架构在挑战性基准任务比赛中实现的高性能表明，创新的架构理念以及参数优化可以提高 CNN 在各种视觉相关任务上的性能。本综述将最近的 CNN 架构创新分为七个不同的类别，分别基于空间利用、深度、多路径、宽度、特征图利用、通道提升和注意力。

在传统的神经网络中，比如多层感知机（MLP），其输入通常是一个特征向量。需要人工设计特征，然后将用这些特征计算的值组成特征向量。在过去几十年的经验来看，人工找的特征并不总是好用。有时多了，有时少了，有时选的特征根本就不起作用（真正起作用的特征在浩瀚的未知里）。这就是为啥过去几十年神经网络一直被SVM等完虐的原因。