深度学习

Batch_size参数的作用：决定了下降的方向......对于新手而言，在GPU内存足够的情况下，结合样本大小，可以尝试batch_size为8，16，32，64等。

深度学习对抗样本(Adversarial Examples)的概念最早是Christian Szegedy 等人在ICLR2014发表的论文中提出来的，即在数据集中通过故意添加细微的干扰所形成输入样本，受干扰之后的输入导致模型以高置信度给出了一个错误的输出。

事实上，在神经网络中，我们几乎总是选择我们的模型作为运行随机梯度下降的输出。对线性模型来说，我们分析SGD如何作为一个隐式调节器。对于线性模型，SGD总是收敛到一个小规范的解决方案。因此，算法本身隐含地规范了解决方案。

梯度下降的框架主要分三种：1，全量梯度下降：每次使用全部的样本来更新模型参数，优点是收敛方向准确，缺点是收敛速度慢，内存消耗大。；2，随机梯度下降：每次使用一个样本来更新模型参数，优点是学习速度快，缺点是收敛不稳定。；3，批量梯度下降：每次使用一个batchsize的样本来更新模型参数，平衡了全量梯度下降和随机梯度下降的方法。。

很多人说深度学习是玄学，有很多说不清道不明的东西在里面，实际上，还是有一些规律可言的，虽然不是什么放之四海而皆准的真理，但也是长期总结的一些经验教训，可以试一试，看是不是有用。

这篇文章的目的是希望能够解释一些关于深度学习（DL）的误解，在机器学习领域，同时也被称为爆发的小宇宙和科研炒作。事实是在中间的某个地方，我希望能把这趟浑水弄清 - 至少有一点点。重要的是，我希望澄清一些攻击深度学习的问题，并讨论为什么它在自然语言处理（NLP），图像识别和机器翻译等方面表现良好，而在其他方面却失败了。

近几年来，“深度学习”在国内暴得大名，无论是理论界还是实践界都对此趋之若鹜，许多学者对此有过论述，几乎所有一线教师都非常关心这一论题。就国内研究而言，短短五年就有论文500篇之多。然而，我们不无遗憾地看到，绝大多数理论及实践成果都有一种“单向度取向”，即主要是基于学习心理学认知学派的“信息加工”理论而展开的研究成果，鲜有“全视角”观照；其中国内研究多数又以“译介”为主，实证成果稀少。

深度学习成为了当今最热门的话题之一，但对于大多数人来说，这是一个陌生而又神秘的学科。很多人认为，深度学习就是包括了大量的数学和统计知识。本文列举了常见的12个深度学习的问题。

光技术是当今世界的核心，使最复杂的过程和程序得以实现。光技术发展的十大趋势，虽然每一个都是许多微小的、渐进的进步的结果，但在不久的将来提供更多的机会。

机器学习只能记住训练数据中存在的模式。你只能认识你已经看到过的东西。利用机器学习对过去的数据进行训练，用于预测未来，这样的做法假设未来的行为将于过去类似。但是，通常并非如此。