深度学习

防止过拟合的方法主要有：正则化；dropout；增加训练数据；提前停止训练过程。

对于应用深度学习需要思考什么的问题，我们无法统一答复，因为答案会随着你要解决的问题的不同而不同。但是我们希望以下的问答将成为一个帮助你如何在初期选择深度学习算法和工具的清单。

神经网络做分类等问题的核心原理是使用升维/降维、 放大/缩小、旋转、平移、弯曲这5大类操作完成扭曲变换，最终能在扭曲后的空间找到轻松找到一个超平面分割空间。

生成对抗网络（GAN，Generative Adversatial Networks）是一种深度学习模型，近年来无监督学习上最具前景的方法之一。 模型主要通用框架有（至少）两个模块：生成模型和判别模型的互相博弈学习产生的相当好的输出。 原始GAN理论中，并不要求G和D都是神经网络，但使用中一般均使用深度神经网络作为G和D。

一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。

这篇文章介绍深度学习四种主流的规范化, 分别是Batch Normalization(BN[9]), Layer Normalization(LN[7]), Instance Normalization(IN[8])以及Group Normalization(GN[2])。

本文是一篇译文，从四个方面来提出37条神经网络调试总结，这四个方面分别是： 数据集、数据增强、具体实现、训练。

对于传统的深度学习网络应用来说，网络越深，所能学到的东西越多。当然收敛速度也就越慢，训练时间越长，然而深度到了一定程度之后就会发现越往深学习率越低的情况，甚至在一些场景下，网络层数越深反而降低了准确率，而且很容易出现梯度消失和梯度爆炸。

人工智能（Artificial Intelligence）和机器学习（Machine Learning）是当下最热话题。每天“AI”这个词都在耳边横飞。胸怀抱负的开发人员声称想要研究AI；经理们说想在服务中应用AI。但是，通常这些人不知道AI是什么。

在深度学习中，为了避免出现过拟合（Overfitting），通常我们需要输入充足的数据量．若数据量比较小，可以对原有的图像数据进行几何变换，改变图像像素的位置并保证特征不变。