来源：公众号 datayx
卷积神经网络的卷积核大小、卷积层数、每层map个数都是如何确定下来的呢？看到有些答案是刚开始随机初始化卷积核大小，卷积层数和map个数是根据经验来设定的，但这个里面应该是有深层次原因吧，比如下面的手写字卷积神经网络结构图1，最后输出为什么是12个map，即输出12个特征？然后图2又是输出10个特征了？
在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。
具体来说。卷积核大小必须大于1才有提升感受野的作用，1排除了。而大小为偶数的卷积核即使对称地加padding也不能保证输入feature map尺寸和输出feature map尺寸不变（画个图算一下就可以发现），2排除了。所以一般都用3作为卷积核大小。
每一层卷积有多少channel数，以及一共有多少层卷积，这些暂时没有理论支撑，一般都是靠感觉去设置几组候选值，然后通过实验挑选出其中的最佳值。这也是现在深度卷积神经网络虽然效果拔群，但是一直为人诟病的原因之一。
多说几句，每一层卷积的channel数和网络的总卷积层数，构成了一个巨大的超参集合，这个超参集合里的最优组合，很可能比目前业界各种fancy的结构还要高效。只是我们一来没有理论去求解这个超参集合里的最优，二来没有足够的计算资源去穷举这个超参集合里的每一个组合，因此我们不知道这个超参集合里的最优组合是啥。
现在业界里提出的各种fancy结构中不少都是不断trial and error，试出来一个效果不错的网络结构，然后讲一个好听的story，因为深度学习理论还不够，所以story一般都是看上去很美，背后到底是不是这回事只有天知道。比如好用到不行的batch norm，它的story是解决internal covariate shift，然而最近有篇文章How Does Batch Normalization Help Optimization? (No, It Is Not About Internal Covariate Shift)通过实验证明实际情况并不如此。
https://arxiv.org/abs/1805.11604
推荐一篇讲如何设计CNN网络的文章A practical theory for designing very deep convolutional neural networks。
https://kaggle2.blob.core.windows.net/forum-message-attachments/69182/22...
本文转自：机器学习AI算法工程（公众号： datayx），转载此文目的在于传递更多信息，版权归原作者所有。
