demi的博客

防止过拟合的方法主要有：正则化；dropout；增加训练数据；提前停止训练过程。

CNNs是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向BP算法的训练性能。CNNs作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。

二者都是集成学习算法，都是将多个弱学习器组合成强学习器的方法。

Gartner报告联网的设备在2019年已经超过142亿，预计2021年将达到250亿，这是一个巨大的数量，产生海量的数据。但与现在大家所熟悉的互联网相比，物联网数据有其显著不同特点，本文对其特点作了系统分析和总结。

小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。正则化有好处：正则化的方法包括l1、l2和丢弃法等。

卷积这个东东是“信号与系统”中论述系统对输入信号的响应而提出的。因为是对模拟信号论述的，所以常常带有繁琐的算术推倒，很简单的问题的本质常常就被一大堆公式淹没了，那么卷积究竟物理意义怎么样呢？

随着Unity 2019.1的发布，Shader Graph着色器视图资源包正式脱离预览阶段。在Unity 2019.2中，Shader Graph着色器视图加入了更多新功能。

反向传播（用于优化神网参数）：根据损失函数计算的误差通过反向传播的方式，指导深度网络参数的更新优化。采取反向传播的原因：首先，深层网络由许多线性层和非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数 f(x) (非线性来自于非线性激活函数），因此整个深度网络可以视为是一个复合的非线性多元函数。

当数据维数比较大时，就需要进行降维，特征选择是降维的一种主要方式，又包括3种方法：Filter、Wrapper和Enbedding。

由于意外的机器学习模型退化导致了几个机器学习项目的失败，我想分享一下我在机器学习模型退化方面的经验。实际上，有很多关于模型创建和开发阶段的宣传，而不是模型维护。