深度学习

我们以图像形式说明下欠拟合、正常拟合、过拟合的场景，左图为欠拟合，此时算法学习到的数据规律较弱，有较差的预测效果，中图为正常拟合的形态，模型能够兼顾预测效果和泛化能力，右图是过拟合的情形，此时模型对训练集有较好的预测效果，但是因为其过度拟合于训练数据，所以对未见过的数据集有较差的预测效果，也就是我们通常说的低泛化能力。

在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实现。接着，我们将回顾深度学习已经成功应用的几个特定领域。

深度学习在图像分类、物体检测、图像分割等计算机视觉问题上都取得了很大的进展，被认为可以提取图像高层语义特征。基于此，衍生出了很多有意思的图像应用。

深度学习是机器学习的一个分支，拥有很多的相似性，但是却也不同，深度神经网络结构在自然语言处理、计算机视觉、生物信息学和其他领域解决了各种各样的问题。深度学习经历了一场巨大的最近研究的重现，并且在很多领域中已经展现出最先进的成果。

在跟深度模型打交道的过程中，使用 DNN 解决了一些分类的问题。目前 DNN 好像是非常流行的一种学习方法。但是，如果要问我什么是 DNN，DNN 到底为什么这么受欢迎，它到底有哪些优势？以下是我个人的一些看法和回答。

防止过拟合的方法主要有：正则化；dropout；增加训练数据；提前停止训练过程。

对于应用深度学习需要思考什么的问题，我们无法统一答复，因为答案会随着你要解决的问题的不同而不同。但是我们希望以下的问答将成为一个帮助你如何在初期选择深度学习算法和工具的清单。

神经网络做分类等问题的核心原理是使用升维/降维、 放大/缩小、旋转、平移、弯曲这5大类操作完成扭曲变换，最终能在扭曲后的空间找到轻松找到一个超平面分割空间。

生成对抗网络（GAN，Generative Adversatial Networks）是一种深度学习模型，近年来无监督学习上最具前景的方法之一。 模型主要通用框架有（至少）两个模块：生成模型和判别模型的互相博弈学习产生的相当好的输出。 原始GAN理论中，并不要求G和D都是神经网络，但使用中一般均使用深度神经网络作为G和D。

一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。