demi的博客

深度残差收缩网络总结

大家有没有发现这样一种现象:在很多数据集中,每个样本内部,都或多或少地包含着一些与标签无关的信息;这些信息的话,其实就是冗余的。然后,即使在同一个样本集中,各个样本的噪声含量也往往是不同的。那么,降噪算法中常用的软阈值函数,能不能嵌入到深度残差网络中呢?

卷积神经网络初探

将神经网络应用于大图像时,输入可能有上百万个维度,如果输入层和隐含层进行“全连接”,需要训练的参数将会非常多。如果构建一个“部分联通”网络,每个隐含单元仅仅只能连接输入单元的一部分,参数数量会显著下降。卷积神经网络就是基于这个原理而构建的。

卷积神经网络是如何实现不变性特征提取的

传统的图像特征提取(特征工程)主要是基于各种先验模型,通过提取图像关键点、生成描述子特征数据、进行数据匹配或者机器学习方法对特征数据二分类/多分类实现图像的对象检测与识别。卷积神经网络通过计算机自动提取特征(表示工程)实现图像特征的提取与抽象,通过MLP实现数据的回归与分类。二者提取的特征数据都具不变性特征。

IDC发布2020年全球机器人市场十大预测——中国启示

IDC于近日发布了《IDC FutureScape: 全球机器人 2020 预测 – 中国启示》(IDC #US44623620,2020年1月),报告中介绍了全球机器人行业2020年的十项预测以及中国启示,并提供了在2020-2025年期间行业终端用户技术买家对于技术发展路线所需要考虑的行动指南。

10分钟看懂深度残差收缩网络

深度残差收缩网络是深度残差网络的一种的改进版本,其实是深度残差网络、注意力机制和软阈值函数的集成。在一定程度上,深度残差收缩网络的工作原理,可以理解为:通过注意力机制注意到不重要的特征,通过软阈值函数将它们置为零;或者说,通过注意力机制注意到重要的特征,将它们保留下来,从而加强深度神经网络从含噪声信号中提取有用特征的能力。