NiN（Network in Network） 是一种改进的卷积神经网络架构，由 Lin et al. 在 2013 年提出。该模型的核心思想是通过在每个卷积层后引入 “网络中的网络”（Network in Network）结构，使用小型全连接网络（通常是 1×1的卷积层）来提升模型的非线性表达能力。
NiN 的主要目标是克服传统卷积神经网络中由于单个卷积核的限制导致的表达能力不足的问题，从而在图像分类任务中提高性能。
一、NiN 的核心思想
1. 网络中的网络（Network in Network）
在传统 CNN 中，每个卷积操作后的激活图通过线性操作（卷积）和非线性激活函数（如 ReLU）生成。然而，这种方式的表达能力受到单个卷积核的限制。
NiN 提出了使用一个微型多层感知机（MLP）替代单一的卷积核，将每个像素点（或局部区域）的特征映射到更高维度，从而增强模型的非线性表示能力。
实现方式：使用多个连续的 1×1 卷积层（被视为 MLP），对每个像素点进行多层的非线性特征变换。
2. 全局平均池化（Global Average Pooling, GAP）
传统 CNN 通常使用全连接层（fully connected layers）将特征映射到分类结果，这会带来大量参数，容易导致过拟合。
NiN 使用全局平均池化替代全连接层，对每个通道的激活值进行平均，从而直接输出类别概率。
优势：减少了参数量，提高了泛化能力。
二、NiN 的网络结构
NiN 的结构由多个 NiN 块（NiN block） 组成，每个块包含三个主要部分：
1. 卷积层：提取局部特征。
2. 多层感知机卷积层（MLPConv）：
由多个 1×1 卷积层组成。
提高局部特征的非线性表达能力。
3. 池化层：对特征进行降维（如最大池化）。
NiN 的网络通常由以下几部分组成：
1. 多个 NiN 块：
每个块由一个卷积层和多个 1×1卷积层（MLPConv）组成。
之后接最大池化层（Max Pooling）进行降维。
2. 全局平均池化层（GAP）：
替代全连接层，将每个通道的特征平均化，直接输出类别概率。
NiN 网络架构
以 NiN 用于 ImageNet 分类任务的网络架构为例：
1. 输入层：
图像大小为 224×224×3224 \times 224 \times 3224×224×3（彩色图像）。
2. 第一块 NiN 块：
11×1111 \times 1111×11 卷积层，步幅 4，输出通道数为 96。
两个 1×11 \times 11×1 卷积层，增加非线性表示。
最大池化（3×33 \times 33×3，步幅 2）。
3. 第二块 NiN 块：
5×55 \times 55×5 卷积层，步幅 1，输出通道数为 256。
两个 1×11 \times 11×1 卷积层。
最大池化（3×33 \times 33×3，步幅 2）。
4. 第三块 NiN 块：
3×33 \times 33×3 卷积层，步幅 1，输出通道数为 384。
两个 1×11 \times 11×1 卷积层。
最大池化（3×33 \times 33×3，步幅 2）。
5. 全局平均池化层：
对每个通道进行全局平均池化，将特征图从 H×WH \times WH×W 降到 1×11 \times 11×1。
6. 输出层：
使用 softmax 激活函数，将结果映射到类别概率。
三、NiN 的实现
以下是 NiN 的 PyTorch 实现：
import torch
import torch.nn as nn
import torch.nn.functional as F
class NiNBlock(nn.Module):
def __init__(self, in_channels, out_channels, kernel_size, stride, padding):
super(NiNBlock, self).__init__()
self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding)
self.mlpconv1 = nn.Conv2d(out_channels, out_channels, kernel_size=1)
self.mlpconv2 = nn.Conv2d(out_channels, out_channels, kernel_size=1)
self.relu = nn.ReLU()
def forward(self, x):
x = self.relu(self.conv(x))
x = self.relu(self.mlpconv1(x))
x = self.relu(self.mlpconv2(x))
return x
class NiN(nn.Module):
def __init__(self, num_classes=10):
super(NiN, self).__init__()
self.nin_block1 = NiNBlock(3, 96, kernel_size=11, stride=4, padding=0)
self.nin_block2 = NiNBlock(96, 256, kernel_size=5, stride=1, padding=2)
self.nin_block3 = NiNBlock(256, 384, kernel_size=3, stride=1, padding=1)
self.global_avg_pool = nn.AdaptiveAvgPool2d((1, 1))
self.fc = nn.Conv2d(384, num_classes, kernel_size=1)
def forward(self, x):
x = self.nin_block1(x)
x = F.max_pool2d(x, kernel_size=3, stride=2)
x = self.nin_block2(x)
x = F.max_pool2d(x, kernel_size=3, stride=2)
x = self.nin_block3(x)
x = F.max_pool2d(x, kernel_size=3, stride=2)
x = self.global_avg_pool(x)
x = self.fc(x)
return x.view(x.size(0), -1)
# 创建 NiN 模型实例
model = NiN(num_classes=10)
print(model)
NiN 的创新点
1. MLPConv（网络中的网络）：
使用 1×11 \times 11×1 卷积核代替传统 CNN 中的全连接层，显著增强了局部特征的非线性表示能力。
每个像素点的特征由一个小型 MLP 网络计算。
2. 全局平均池化（GAP）：
使用全局平均池化替代全连接层，减少了模型参数量，降低了过拟合风险。
增强了模型对输入图像大小变化的鲁棒性。
3. 参数减少：
与传统 CNN 模型相比，NiN 通过使用 1×11 \times 11×1 卷积和 GAP 大幅减少了参数量。
五、NiN 的优点与局限性
优点：
1. 表达能力增强：
使用 MLPConv 提升了模型的非线性能力，能够更好地学习局部特征。
2. 减少参数：
全局平均池化减少了参数量和计算量，提高了模型的效率。
3. 简洁的设计：
通过模块化的设计（NiN 块）构建深层网络，结构清晰且易于实现。
4. 强大的泛化能力：
减少全连接层的参数，降低了过拟合的风险。
局限性：
1. 计算复杂度较高：
虽然参数量减少，但计算 1×11 \times 11×1 卷积会增加计算复杂度，训练时对硬件资源有一定要求。
2. 网络深度有限：
NiN 的深度有限，难以捕获更高层次的抽象特征。
3. 较少应用于大型数据集：
在更复杂的数据集上（如 ImageNet），NiN 的性能不如后续更深的网络（如 VGG、ResNet）。
6. NiN 的应用
1. 图像分类：
NiN 最初用于 CIFAR-10 和 ImageNet 图像分类任务，具有较高的分类精度。
2. 迁移学习：
NiN 的架构思想（如 1×11 \times 11×1 卷积）被广泛应用于后续网络（如 GoogLeNet 和 ResNet）。
3. 轻量级网络设计：
通过减少参数量，NiN 对轻量级网络的设计提供了借鉴。
7. 总结
NiN 网络通过引入 网络中的网络（Network in Network） 和 全局平均池化（GAP），显著增强了卷积神经网络的非线性表示能力，同时减少了参数量。虽然 NiN 在大规模数据集上表现不如后续网络（如 ResNet），但其创新思想对后续深度学习网络的设计影响深远。
版权声明：本文为CSDN博主「彬彬侠」的原创文章，
遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013172930/article/details/145319752
