深度残差收缩网络

大家有没有发现这样一种现象：在很多数据集中，每个样本内部，都或多或少地包含着一些与标签无关的信息；这些信息的话，其实就是冗余的。然后，即使在同一个样本集中，各个样本的噪声含量也往往是不同的。那么，降噪算法中常用的软阈值函数，能不能嵌入到深度残差网络中呢？

深度残差收缩网络是深度残差网络的一种的改进版本，其实是深度残差网络、注意力机制和软阈值函数的集成。在一定程度上，深度残差收缩网络的工作原理，可以理解为：通过注意力机制注意到不重要的特征，通过软阈值函数将它们置为零；或者说，通过注意力机制注意到重要的特征，将它们保留下来，从而加强深度神经网络从含噪声信号中提取有用特征的能力。