深度学习

梯度下降的框架主要分三种：1，全量梯度下降：每次使用全部的样本来更新模型参数，优点是收敛方向准确，缺点是收敛速度慢，内存消耗大。；2，随机梯度下降：每次使用一个样本来更新模型参数，优点是学习速度快，缺点是收敛不稳定。；3，批量梯度下降：每次使用一个batchsize的样本来更新模型参数，平衡了全量梯度下降和随机梯度下降的方法。。

很多人说深度学习是玄学，有很多说不清道不明的东西在里面，实际上，还是有一些规律可言的，虽然不是什么放之四海而皆准的真理，但也是长期总结的一些经验教训，可以试一试，看是不是有用。

这篇文章的目的是希望能够解释一些关于深度学习（DL）的误解，在机器学习领域，同时也被称为爆发的小宇宙和科研炒作。事实是在中间的某个地方，我希望能把这趟浑水弄清 - 至少有一点点。重要的是，我希望澄清一些攻击深度学习的问题，并讨论为什么它在自然语言处理（NLP），图像识别和机器翻译等方面表现良好，而在其他方面却失败了。

近几年来，“深度学习”在国内暴得大名，无论是理论界还是实践界都对此趋之若鹜，许多学者对此有过论述，几乎所有一线教师都非常关心这一论题。就国内研究而言，短短五年就有论文500篇之多。然而，我们不无遗憾地看到，绝大多数理论及实践成果都有一种“单向度取向”，即主要是基于学习心理学认知学派的“信息加工”理论而展开的研究成果，鲜有“全视角”观照；其中国内研究多数又以“译介”为主，实证成果稀少。

深度学习成为了当今最热门的话题之一，但对于大多数人来说，这是一个陌生而又神秘的学科。很多人认为，深度学习就是包括了大量的数学和统计知识。本文列举了常见的12个深度学习的问题。

光技术是当今世界的核心，使最复杂的过程和程序得以实现。光技术发展的十大趋势，虽然每一个都是许多微小的、渐进的进步的结果，但在不久的将来提供更多的机会。

机器学习只能记住训练数据中存在的模式。你只能认识你已经看到过的东西。利用机器学习对过去的数据进行训练，用于预测未来，这样的做法假设未来的行为将于过去类似。但是，通常并非如此。

虽然RNN网络能够捕捉长时信息，但毕竟能力有限，在对待全局时序信息时需要我们引入注意力机制，可以显著提高模型的准确率。无论你的模型效果如何，引入注意力是一个不错的选择。

本文的深度学习技巧来自吴恩达课程的笔记。运用深度学习解决问题除了需要掌握深度学习的理论知识外，还需要明白其中大量的技巧。这些技巧可以帮助我们加快训练速度，选取更好的算法和更合适的参数。我们将在后面逐步更新这里面的内容。

很多人对机器学习的边界范围似是而非，机器学习是人工智能吗？机器学习与大数据、云计算有什么关系？机器学习是不是就是数据挖掘？机器学习是不是就是算法，就是统计学？深度学习是不是机器学习的升级版？