demi的博客

近年来，人工智能技术发展取得了极大的进步，在一些领域甚至超越了人类自身的认知能力。人工智能也从一个纯粹的技术领域一跃成为社会各界共同关注的话题。各国纷纷出台人工智能战略，加强顶层设计，人工智能由此成为国际竞争的新焦点。

机器学习中参数更新的方法有三种：① Batch Gradient Descent，批梯度下降；② Stochastic Gradient Descent，随机梯度下降；③ Mini-batch Gradient Decent，小批梯度下降。

防止过拟合的方法主要有：正则化；dropout；增加训练数据；提前停止训练过程。

CNNs是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高一般前向BP算法的训练性能。CNNs作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。

二者都是集成学习算法，都是将多个弱学习器组合成强学习器的方法。

Gartner报告联网的设备在2019年已经超过142亿，预计2021年将达到250亿，这是一个巨大的数量，产生海量的数据。但与现在大家所熟悉的互联网相比，物联网数据有其显著不同特点，本文对其特点作了系统分析和总结。

小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。正则化有好处：正则化的方法包括l1、l2和丢弃法等。

卷积这个东东是“信号与系统”中论述系统对输入信号的响应而提出的。因为是对模拟信号论述的，所以常常带有繁琐的算术推倒，很简单的问题的本质常常就被一大堆公式淹没了，那么卷积究竟物理意义怎么样呢？

随着Unity 2019.1的发布，Shader Graph着色器视图资源包正式脱离预览阶段。在Unity 2019.2中，Shader Graph着色器视图加入了更多新功能。

反向传播（用于优化神网参数）：根据损失函数计算的误差通过反向传播的方式，指导深度网络参数的更新优化。采取反向传播的原因：首先，深层网络由许多线性层和非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数 f(x) (非线性来自于非线性激活函数），因此整个深度网络可以视为是一个复合的非线性多元函数。