深度学习是一种基于人工神经网络的机器学习方法，它通过多层神经网络对数据进行建模和学习，从而使计算机能够自动从数据中提取特征并进行预测。深度学习在图像处理、语音识别、自然语言处理等领域取得了显著的突破，特别是在大数据和强大计算能力的支持下，深度学习已成为解决复杂问题的主要技术。
一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。
这篇文章介绍深度学习四种主流的规范化, 分别是Batch Normalization(BN[9]), Layer Normalization(LN[7]), Instance Normalization(IN[8])以及Group Normalization(GN[2])。
本文是一篇译文，从四个方面来提出37条神经网络调试总结，这四个方面分别是： 数据集、数据增强、具体实现、训练。
对于传统的深度学习网络应用来说，网络越深，所能学到的东西越多。当然收敛速度也就越慢，训练时间越长，然而深度到了一定程度之后就会发现越往深学习率越低的情况，甚至在一些场景下，网络层数越深反而降低了准确率，而且很容易出现梯度消失和梯度爆炸。
人工智能（Artificial Intelligence）和机器学习（Machine Learning）是当下最热话题。每天“AI”这个词都在耳边横飞。胸怀抱负的开发人员声称想要研究AI；经理们说想在服务中应用AI。但是，通常这些人不知道AI是什么。
在深度学习中，为了避免出现过拟合（Overfitting），通常我们需要输入充足的数据量．若数据量比较小，可以对原有的图像数据进行几何变换，改变图像像素的位置并保证特征不变。
基于图像进行三维重建是一个十分重要的研究问题，来自于计算机视觉、图形学和机器学习领域的研究人员对这个领域进行了多年的探索。同时通过图像进行三维重建在机器人导航、视觉感知、物体识别、环境理解、三维建模等领域有着重要意义，也会为工业制造、智能控制和医疗健康等行业带来广泛的应用。
深度学习有很多的参数需要优化，调整训练数据或是问题的抽象定义方法可能会带来巨大的效果改善，甚至是显著的改善。
由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。