深度卷积神经网络（CNN）— 稠密连接网络（DenseNet）

demi 在周四, 02/26/2026 - 14:23 提交

稠密连接网络（DenseNet, Densely Connected Convolutional Networks）是由 Gao Huang 等人于 2017 年提出的深度学习架构。DenseNet 的核心思想是通过在每一层之间建立密集的连接，使得每一层都可以直接访问前面所有层的特征图，从而提升了信息流动性和梯度传播效果。

DenseNet 在 ImageNet 和其他计算机视觉任务上表现出色，解决了传统卷积神经网络（CNN）中可能存在的梯度消失和特征复用效率低的问题。

1. DenseNet 的核心思想

传统的卷积神经网络中，每一层通常只接收前一层的输出作为输入。而 DenseNet 引入了密集连接（dense connectivity）的概念，意味着每一层都与前面所有的层连接。这种设计使得每一层都能利用更丰富的特征信息，进而提高了模型的表现和训练效率。

具体来说，DenseNet 通过以下几种方式来增强网络的表达能力和训练效果：

每一层都接收所有前层的输出作为输入，这使得每一层都能利用所有前面层的特征。

增强特征的复用性，因为每一层都直接访问到前面层的所有输出，它能够更好地复用这些特征，避免了重复计算。

改善梯度传播，通过直接连接，梯度能够更加容易地传播到网络的浅层，解决了梯度消失问题。

2. DenseNet 的基本结构

DenseNet 的基本单元是稠密块（Dense Block），在每个稠密块内部，所有层都与前面所有的层连接。在每个层之间，通过特征图拼接（concatenation）来传递信息，而不是简单的加法操作。具体来说，DenseNet 中的层按以下方式连接：

x_l = H_l([x₀,x₁,...,x_l−1])

其中：

x_l 是第 l 层的输出。

[x₀,x₁,...,x_l−1] 表示当前层接收的输入，它是所有前面层输出的拼接（concatenation）。

H_l 是第 l 层的变换函数（如卷积、ReLU 激活等）。

每个稠密块由多个卷积层组成，每个卷积层都会接收前面所有层的输出。DenseNet 使用了批量归一化（Batch Normalization）和 ReLU 激活函数，然后进行卷积操作，最后将输出与前面的所有层进行拼接

3. 稠密连接块（Dense Block）

在传统的卷积神经网络中，每个卷积层的输入仅来自上一层的输出，而在 DenseNet 中，每一层的输入都包括了前面所有层的输出。这就导致了每一层的输入特征图是所有前面层的特征图的拼接，因此它的特征图维度是不断增加的。

一个典型的稠密块（Dense Block）的结构如下：

每个稠密块包含多个卷积层，每个卷积层接收所有前面卷积层的输出作为输入。

每个卷积层通常采用 3x3 卷积，并且每个卷积层的输出会与前面所有的层输出拼接起来。

4. 过渡层（Transition Layer）

为了控制网络的复杂度，DenseNet 在稠密块之间加入了过渡层（Transition Layer），过渡层通常包含：

1x1 卷积：用于减少特征图的通道数，从而减少计算量。

平均池化（Average Pooling）：用于减少特征图的空间尺寸，减少计算负担。

过渡层的作用是减少网络的宽度，并对网络进行下采样，防止模型过于庞大。

5. DenseNet 的优势

增强梯度流动：
DenseNet 通过密集连接的设计，让梯度能够直接流向浅层，这有助于减缓梯度消失问题。尤其在训练较深的网络时，梯度传播更加有效。

特征复用：
每一层都可以访问所有前面层的特征，从而避免了特征冗余和计算浪费。DenseNet 提供了更高的特征复用效率。

参数效率：
尽管 DenseNet 的层数和参数数目较多，但通过特征图的拼接方式，DenseNet 更有效地利用了每一层的特征，因此它的参数数量往往比传统网络要少。

更好的泛化能力：
DenseNet 在训练中具有较强的泛化能力，即使在数据量有限的情况下，也能够较好地避免过拟合。

6. DenseNet 的缺点

计算开销较大：
DenseNet 中每一层的输出都会拼接前面所有层的输出，这导致了输出特征图的维度不断增加，计算量和内存需求较大，尤其是深层网络时，计算负担会非常高。

内存占用高：
由于每一层的输出都需要保存，尤其在深度网络中，内存占用会很大，这在资源受限的设备上可能会带来挑战。

7. DenseNet 的实现

在 PyTorch 中，DenseNet 的实现通常可以通过使用 torchvision.models 中提供的预训练模型，或者自己手动实现。

以下是一个简单的 DenseNet-121 的实现示例：

import torch
import torch.nn as nn
import torchvision.models as models

# 加载预训练的 DenseNet-121 模型
model = models.densenet121(pretrained=True)

# 你可以直接使用这个模型进行分类任务
# 如果需要修改输出层（例如分类数目不同），可以按以下方式修改
model.classifier = nn.Linear(model.classifier.in_features, 10)  # 假设是10类分类任务

# 打印模型结构
print(model)

如果要自定义 DenseNet 模型，可以按照以下步骤构建：
① 创建残差模块（Dense Block）。
② 在每个稠密块之间添加过渡层。
③ 最后接上全局平均池化层和全连接层。

8. DenseNet 的变种

DenseNet 也有一些变种模型，常见的包括：

DenseNet-121：121 层的网络，适合中等规模的任务。

DenseNet-169：169 层的网络，适用于较大的任务。

DenseNet-201：201 层的网络，适合更复杂的任务。

DenseNet-161：网络层数为 161 层，适用于对精度要求较高的任务。

9. DenseNet 的应用

DenseNet 广泛应用于计算机视觉任务中，尤其是在以下几个领域中有显著的应用效果：

图像分类：在标准的图像分类任务上，DenseNet 能提供更高的准确率。

目标检测：DenseNet 由于其强大的特征提取能力，也被用于目标检测任务。

医学图像分析：由于 DenseNet 的特征复用和梯度流动的优势，它也被广泛应用于医学图像分析，如癌症检测、脑部疾病分析等。

图像分割：DenseNet 在语义分割任务中也得到了应用。

10. 总结

DenseNet 是一种通过密集连接每一层的输出，显著提升了深度神经网络的表现。它通过特征图的复用和梯度的有效传播，在提升网络训练效率的同时减少了参数数量。尽管 DenseNet 在计算和内存方面要求较高，但其在图像分类、目标检测等任务上表现优异，是一种非常有价值的神经网络架构。

版权声明：本文为CSDN博主「彬彬侠」的原创文章，
遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013172930/article/details/145344519

深入理解CNN	深度卷积神经网络（CNN）— NiN	神经网络常用卷积总结
为什么要使用卷积神经网络？	卷积光学神经网络开启人工智能成像新时代	神经网络的学习方式 - 从网络传播到图卷积

深度卷积神经网络（CNN）— 稠密连接网络（DenseNet）

最新文章

最新文章