深度学习

本文的深度学习技巧来自吴恩达课程的笔记。运用深度学习解决问题除了需要掌握深度学习的理论知识外，还需要明白其中大量的技巧。这些技巧可以帮助我们加快训练速度，选取更好的算法和更合适的参数。我们将在后面逐步更新这里面的内容。

很多人对机器学习的边界范围似是而非，机器学习是人工智能吗？机器学习与大数据、云计算有什么关系？机器学习是不是就是数据挖掘？机器学习是不是就是算法，就是统计学？深度学习是不是机器学习的升级版？

感知机可以说是最古老的分类方法之一了，在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。这里对感知机的原理做一个小结。

卷积操作的维度计算是定义神经网络结构的重要问题，在使用如PyTorch、Tensorflow等深度学习框架搭建神经网络的时候，对每一层输入的维度和输出的维度都必须计算准确，否则容易出错，这里将详细说明相关的维度计算。

如果你一直在寻求使机器学习驱动的应用程序，你会注意到那里有大量的ML模型和模型实现，可能适合、也可能不适合您的任务。特别是如果你对特定类型的模型没有深入的了解，那么选择适合你的项目的模型实现可能会非常困难。

决策树：是一个预测模型。他代表俄是对象属性与对象之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，每个叶节点对应从根节点到该叶节点所经历的路径所表示的对象的值。

针对模糊图像的处理，个人觉得主要分两条路，一种是自我激发型：基于图像处理的方法，如图像增强和图像复原，以及曾经很火的超分辨率算法；另外一种属于外部学习型：就如同照葫芦画瓢一样的道理，其算法主要是深度学习中的卷积神经网络......接下来我们一起学习这两条路的具体方式。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。训练之前一定要执行参数初始化，否则可能减慢收敛速度，影响训练结果，或者造成Nan数值溢出等异常问题。

想做计算机视觉？深度学习是最近的发展方向。大规模数据集加上深度卷积神经网络（CNN）的表征能力使得超精确和稳健的模型成为可能。由于计算机视觉领域广泛而复杂，因此解决方案并不总是很清晰。计算机视觉中的许多标准任务都需要特别考虑：分类，检测，分割，姿势估计，增强和恢复以及动作识别。

深度神经网络是连接主义系统，通过它通过学习例子来完成任务，而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点，并且可以通过随机梯度下降进行优化。CNN是DNN的变体，能够适应各种非线性数据点。起始层学习更简单的特征，如边和角，后续层学习复杂的特征，如颜色，纹理等。