深度学习

深度学习在图像分类、物体检测、图像分割等计算机视觉问题上都取得了很大的进展，被认为可以提取图像高层语义特征。基于此，衍生出了很多有意思的图像应用。

深度学习是机器学习的一个分支，拥有很多的相似性，但是却也不同，深度神经网络结构在自然语言处理、计算机视觉、生物信息学和其他领域解决了各种各样的问题。深度学习经历了一场巨大的最近研究的重现，并且在很多领域中已经展现出最先进的成果。

在跟深度模型打交道的过程中，使用 DNN 解决了一些分类的问题。目前 DNN 好像是非常流行的一种学习方法。但是，如果要问我什么是 DNN，DNN 到底为什么这么受欢迎，它到底有哪些优势？以下是我个人的一些看法和回答。

防止过拟合的方法主要有：正则化；dropout；增加训练数据；提前停止训练过程。

对于应用深度学习需要思考什么的问题，我们无法统一答复，因为答案会随着你要解决的问题的不同而不同。但是我们希望以下的问答将成为一个帮助你如何在初期选择深度学习算法和工具的清单。

神经网络做分类等问题的核心原理是使用升维/降维、 放大/缩小、旋转、平移、弯曲这5大类操作完成扭曲变换，最终能在扭曲后的空间找到轻松找到一个超平面分割空间。

生成对抗网络（GAN，Generative Adversatial Networks）是一种深度学习模型，近年来无监督学习上最具前景的方法之一。 模型主要通用框架有（至少）两个模块：生成模型和判别模型的互相博弈学习产生的相当好的输出。 原始GAN理论中，并不要求G和D都是神经网络，但使用中一般均使用深度神经网络作为G和D。

一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。

这篇文章介绍深度学习四种主流的规范化, 分别是Batch Normalization(BN[9]), Layer Normalization(LN[7]), Instance Normalization(IN[8])以及Group Normalization(GN[2])。

本文是一篇译文，从四个方面来提出37条神经网络调试总结，这四个方面分别是： 数据集、数据增强、具体实现、训练。