深度学习是一种基于人工神经网络的机器学习方法，它通过多层神经网络对数据进行建模和学习，从而使计算机能够自动从数据中提取特征并进行预测。深度学习在图像处理、语音识别、自然语言处理等领域取得了显著的突破，特别是在大数据和强大计算能力的支持下，深度学习已成为解决复杂问题的主要技术。
1986年，辛顿教授和他的团队重新设计了BP算法，以“人工神经网络”模仿大脑工作机理，又一次将人工智能掀起了一个浪潮。但是，当风光不再时，辛顿和他的研究方向，逐渐被世人所淡忘，一下子就冷藏了30年。但在这30年里，辛顿有了新的想法。
于是在2006年，辛顿等人提出了“深度信念网（Deep Belief Nets，DBN）”（这实际上就是多层神经网络的前身）。这个“深度信念网”后期被称为“深度学习”。终于，辛顿再次闪耀于人工智能世界，随后被封为“深度学习教父”。
细心的您会发现，即使辛顿等人提出了“深度信念网”，在随后的小10年里，这个概念亦是不温不火地发展着（如图1所示）。直到2012年以后，随着大数据和大计算（GPU、云计算等）的兴起，深度学习才开始大行其道，一时间甚嚣尘上。
如今，人工智能无疑是最热门的技术之一。人工智能的发展离不开机器学习算法的不断进步，而作为机器学习的一个分支，深度学习也在其中起着重要的作用。然而，深度学习目前也是存在着一些棘手的问题。近日，《福布斯》采访了与人工智能相关的高管，就2019年人工智能发展趋势进行了预测。MediaMath首席技术官普拉萨德·查拉萨尼表示：“深度学习模型已经被证明很容易受到数据中难以察觉的扰动，这些扰动会欺骗模型做出错误的预测或分类。随着对大型数据集的依赖越来越大，人工智能系统需要防范此类攻击数据”。
深度学习真的万能吗？
当前，人工智能技术的发展突飞猛进，在很大程度上都得益于深度学习在基本的人类技能上取得的重大进步。深度学习的概念最早起源于20世纪50年代，但直到2006年才真正进入到大众的视野。深度学习作为机器学习研究中的一个新的领域，其目的是构建、模拟人类大脑进行分析学习的神经网络。在过去几十年的发展中，它大量借鉴了关于人脑、统计学和应用数学的知识。近年来，深度学习更是得益于高性能的计算机、大规模的数据集以及能够训练更深网络的技术，它的实用性和普及性都有了很大的发展。但是，随着应用的越来越深化，深度学习技术也逐渐暴露出不足之处。
“损失函数减肥用，神经网络调权重”
在上一讲中，由于感知机不能解决“异或”问题，明斯基并无恶意却把AI冷藏了二十载。但是解决“异或”问题，其实就是能否解决非线性可分问题。如何来解决这个问题呢？？？
简单总结，其就是用更加复杂网络（利用多层前馈网络——经典的全连接前馈神经网络与BP）。接下来，我们将详细讨论该问题。
6.1 复杂网络解决“异或”问题
我们知道了深度学习是一个包括很多隐含层的复杂网络。感知机之所以当初无法解决“非线性可分”问题，是因为相比于深度学习这个复杂网络，感知机太过于简单”。
如上所讲，想解决“异或”问题，就需要使用多层网络。这是因为，多层网络可以学习更高层语义的特征，其特征表达能力更强。因此，我们在输入层和输出层之间，添加一层神经元，将其称之为隐含层（“隐层”）。于是隐层和输出层中的神经元都有激活函数。
假设各个神经元的阈值均为0.5，权值如图6-1所示，就可实现“异或”功能。
人工智能（AI）和机器学习（ML）是目前最热门的话题。
术语“AI”每天无处不在。经常听到有抱负的开发者说他们想要学习人工智能。还听到高管们说他们希望在他们的服务中实施AI。但很多时候，很多人都不明白AI是什么。
阅读完本文后，您将了解AI和ML的基础知识。更重要的是，您将了解最受欢迎的ML类型深度学习是如何工作的。
背景
了解深度学习如何运作的第一步是掌握重要术语之间的差异。
人工智能与机器学习
人工智能是人类智能在计算机中的复制。
当AI研究首次开始时，研究人员正试图复制人类智能以执行特定任务 - 比如玩游戏。
他们介绍了计算机需要尊重的大量规则。计算机有一个特定的可能操作列表，并根据这些规则做出决策。
机器学习是指机器使用大型数据集而不是硬编码规则进行学习的能力。
ML允许计算机自己学习。这种类型的学习利用了现代计算机的处理能力，可以轻松处理大型数据集。
监督学习与无监督学习
俗话说得好，人往高处走。
在当前人工智能火得一塌糊涂的时候，很多程序员的心思也开始活络起来了。
“要不要转行做人工智能？”
想必是很多程序员心中都有过的念头。
到底该怎么转呢？很多人查了资料之后，一脸懵逼：一边要熟练掌握线性代数、矩阵计算，一边要搞概率论，还要去研究各种库与框架等等。
实在是不知道该从何开始，就拖延了下去，然后很是焦虑。
现在，你不用焦虑了。
国外一个开发者分享了自己的学习过程，并结合自己的经历，给出了9个建议。
这名开发者名叫Alexey Gaziev，是一家社交媒体管理创业公司的CTO，原来是一名Ruby开发者，后来自己学习深度学习。
在开始之前，我们先跟着Alexey澄清一下相关的概念：机器学习是实现人工智能的一组工具，深度学习是机器学习的一个特定子集。
好了，下面正式开始。
1、不要焦虑
可能你不太喜欢数学。就我个人而言，自从八年前毕业后，在开始学习深度学习之前，都没有再碰过数学教科书了。
但在你想要转行做人工智能之前，用谷歌进行一些简单的搜索并与周围比较喜欢数学的人交谈后，你会形成这样一个认知：
本文翻译自李航老师发表在 National Science Review 上关于自然语言处理中的深度学习文章，该文讨论了目前存在的优势与挑战。
1. 引言
深度学习指学习和使用 “深度” 人工神经网络的机器学习技术，比如深度神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN）。近来，深度学习成功地应用在 NLP 中并取得了很多重要的进展。这篇文章总结了深度学习在 NLP 中取得的进展，最后讨论它的优势和面临的挑战。
深度学习的如日中天遮掩了进化算法的光芒，但进化算法也有望重归大众视野，毕竟在某些领域它可比深度学习领先得多。