深度学习

简单易懂的讲解深度学习(入门系列之七)

1986年,辛顿教授和他的团队重新设计了BP算法,以“人工神经网络”模仿大脑工作机理,又一次将人工智能掀起了一个浪潮。但是,当风光不再时,辛顿和他的研究方向,逐渐被世人所淡忘,一下子就冷藏了30年。但在这30年里,辛顿有了新的想法。

于是在2006年,辛顿等人提出了“深度信念网(Deep Belief Nets,DBN)”(这实际上就是多层神经网络的前身)。这个“深度信念网”后期被称为“深度学习”。终于,辛顿再次闪耀于人工智能世界,随后被封为“深度学习教父”。

细心的您会发现,即使辛顿等人提出了“深度信念网”,在随后的小10年里,这个概念亦是不温不火地发展着(如图1所示)。直到2012年以后,随着大数据和大计算(GPU、云计算等)的兴起,深度学习才开始大行其道,一时间甚嚣尘上。

简单易懂的讲解深度学习
图7-1 深度学习的谷歌趋势图

回顾起杰弗里•辛顿过往40多年的学术生涯,可谓是顾跌宕起伏,但最终修得正果。

深度学习究竟存不存在缺陷?

如今,人工智能无疑是最热门的技术之一。人工智能的发展离不开机器学习算法的不断进步,而作为机器学习的一个分支,深度学习也在其中起着重要的作用。然而,深度学习目前也是存在着一些棘手的问题。近日,《福布斯》采访了与人工智能相关的高管,就2019年人工智能发展趋势进行了预测。MediaMath首席技术官普拉萨德·查拉萨尼表示:“深度学习模型已经被证明很容易受到数据中难以察觉的扰动,这些扰动会欺骗模型做出错误的预测或分类。随着对大型数据集的依赖越来越大,人工智能系统需要防范此类攻击数据”。

深度学习真的万能吗?

当前,人工智能技术的发展突飞猛进,在很大程度上都得益于深度学习在基本的人类技能上取得的重大进步。深度学习的概念最早起源于20世纪50年代,但直到2006年才真正进入到大众的视野。深度学习作为机器学习研究中的一个新的领域,其目的是构建、模拟人类大脑进行分析学习的神经网络。在过去几十年的发展中,它大量借鉴了关于人脑、统计学和应用数学的知识。近年来,深度学习更是得益于高性能的计算机、大规模的数据集以及能够训练更深网络的技术,它的实用性和普及性都有了很大的发展。但是,随着应用的越来越深化,深度学习技术也逐渐暴露出不足之处。

简单易懂的讲解深度学习(入门系列之六)

“损失函数减肥用,神经网络调权重”

在上一讲中,由于感知机不能解决“异或”问题,明斯基并无恶意却把AI冷藏了二十载。但是解决“异或”问题,其实就是能否解决非线性可分问题。如何来解决这个问题呢???

简单总结,其就是用更加复杂网络(利用多层前馈网络——经典的全连接前馈神经网络与BP)。接下来,我们将详细讨论该问题。

6.1 复杂网络解决“异或”问题

我们知道了深度学习是一个包括很多隐含层的复杂网络。感知机之所以当初无法解决“非线性可分”问题,是因为相比于深度学习这个复杂网络,感知机太过于简单”。

如上所讲,想解决“异或”问题,就需要使用多层网络。这是因为,多层网络可以学习更高层语义的特征,其特征表达能力更强。因此,我们在输入层和输出层之间,添加一层神经元,将其称之为隐含层(“隐层”)。于是隐层和输出层中的神经元都有激活函数。

假设各个神经元的阈值均为0.5,权值如图6-1所示,就可实现“异或”功能。

简单易懂的讲解深度学习

快速了解深度学习的工作原理

人工智能(AI)和机器学习(ML)是目前最热门的话题。

术语“AI”每天无处不在。经常听到有抱负的开发者说他们想要学习人工智能。还听到高管们说他们希望在他们的服务中实施AI。但很多时候,很多人都不明白AI是什么。

阅读完本文后,您将了解AI和ML的基础知识。更重要的是,您将了解最受欢迎的ML类型深度学习是如何工作的。

背景

了解深度学习如何运作的第一步是掌握重要术语之间的差异。

人工智能与机器学习

人工智能是人类智能在计算机中的复制。

当AI研究首次开始时,研究人员正试图复制人类智能以执行特定任务 - 比如玩游戏。

他们介绍了计算机需要尊重的大量规则。计算机有一个特定的可能操作列表,并根据这些规则做出决策。

机器学习是指机器使用大型数据集而不是硬编码规则进行学习的能力。

ML允许计算机自己学习。这种类型的学习利用了现代计算机的处理能力,可以轻松处理大型数据集。

监督学习与无监督学习

监督学习涉及使用具有输入和预期输出的标记数据集。

进阶深度学习?这里有9个给程序员的建议

俗话说得好,人往高处走。

在当前人工智能火得一塌糊涂的时候,很多程序员的心思也开始活络起来了。

“要不要转行做人工智能?”

想必是很多程序员心中都有过的念头。

到底该怎么转呢?很多人查了资料之后,一脸懵逼:一边要熟练掌握线性代数、矩阵计算,一边要搞概率论,还要去研究各种库与框架等等。

实在是不知道该从何开始,就拖延了下去,然后很是焦虑。

现在,你不用焦虑了。

国外一个开发者分享了自己的学习过程,并结合自己的经历,给出了9个建议。

这名开发者名叫Alexey Gaziev,是一家社交媒体管理创业公司的CTO,原来是一名Ruby开发者,后来自己学习深度学习。

在开始之前,我们先跟着Alexey澄清一下相关的概念:机器学习是实现人工智能的一组工具,深度学习是机器学习的一个特定子集。

好了,下面正式开始。

1、不要焦虑

可能你不太喜欢数学。就我个人而言,自从八年前毕业后,在开始学习深度学习之前,都没有再碰过数学教科书了。

但在你想要转行做人工智能之前,用谷歌进行一些简单的搜索并与周围比较喜欢数学的人交谈后,你会形成这样一个认知:

你需要积累大量的数学知识,然后才能尝试用神经网络解决现实世界中的问题。

两年前我得到的印象是这样的:

【译】自然语言处理中的深度学习:优势与挑战

本文翻译自李航老师发表在 National Science Review 上关于自然语言处理中的深度学习文章,该文讨论了目前存在的优势与挑战。

自然语言处理中的深度学习:优势与挑战

1. 引言

深度学习指学习和使用 “深度” 人工神经网络的机器学习技术,比如深度神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN)。近来,深度学习成功地应用在 NLP 中并取得了很多重要的进展。这篇文章总结了深度学习在 NLP 中取得的进展,最后讨论它的优势和面临的挑战。

自然语言处理中的深度学习:优势与挑战

简单易懂的讲解深度学习(入门系列之五)

5.1 网之初,感知机

我们知道,《三字经》里开篇第一句就是:“人之初,性本善”。那么对于神经网络来说,这句话就要改为:“网之初,感知机”。感知机( Perceptrons ),基本上来说,是一切神经网络学习的起点。

很多有关神经网络学习(包括深度学习)的教程,在提及感知机时,都知道绕不过,但也仅仅一带而过。学过编程的同学都知道,不论是哪门什么语言,那个神一般存在的第一个程序——“Hello World”,对初学者有多么重要,可以说,它就是很多人“光荣与梦想”开始的地方。

而感知机学习,就是神经网络学习的“Hello World”,所以对于初学者来说,也值得我们细细玩味。因此,下面我们就给予详细讲解。

5.2 感性认识“感知机”

在第3小节中,我们已经提到,所谓的感知机,其实就是一个由两层神经元构成的网络结构,它在输入层接收外界的输入,通过激活函数(含阈值)的变换,把信号传送至输出层,因此它也称之为“阈值逻辑单元(threshold logic unit)”。

在深度学习中处理不均衡数据集

作者:George Seif
编译:ronghuaiyang

不是所有的数据都是完美的。实际上,如果你拿到一个真实的完全均衡的数据集的话,那你真的是走了狗屎运了。大部分的时候,你的数据都会有某种程度上的不均衡,也就是说你的数据集中每个类别的数量会不一样。

我们为什么想要数据是均衡的?

在我们开始花时间做深度学习项目之前,非常重要的一点是需要理解为什么我们要做这个事情,确保我们的投入是值得的。当我们真正关心的是少数的类别的时候,类别均衡技术就是真正的必须的了。

比如说,我们想预测基于当前的市场情况,房子的属性,自己的预算,是否应该买房子。在这种情况下,如果我们买了,那么这是个正确的决定是非常重要的,因为这个是很大的一笔投资。同时,如果你的模型说不要买,而事实上需要买的话,这也没什么大不了的。你错过了这个,总是有其他的房子可以买的。但是如果买错了的话,那就是个大事了。

在上面的情况中,我们当然需要我们的少数“买”的类别要特别的准确,而“不买”的类别则无关紧要。但是在实际情况中,由于买的情况比不买的情况要少得多,我们的模型预测会偏向“不买”的类别,而“买”的类别的准确率则可能会很差。这就需要数据均衡了,我们可以让“买”类别的权重变大,来让“买”类别的预测更加准确。

深度学习中为什么要使用多于一个epoch?

什么是epoch?

当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一次epoch。然而,当一个epoch对于计算机而言太庞大的时候,就需要把它分成多个小块。

为什么要使用多于一个epoch?

在神经网络中传递完整的数据集一次是不够的,而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住,我们使用的是有限的数据集,并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。

深度学习中为什么要使用多于一个epoch?

随着epoch数量增加,神经网络中的权重的更新次数也在增加,曲线从欠拟合变得过拟合。

那么,问题来了,几个epoch才是合适的呢?
不幸的是,这个问题并没有正确的答案。对于不同的数据集,答案是不一样的。但是数据的多样性会影响合适的epoch的数量。比如,只有黑色的猫的数据集,以及有各种颜色的猫的数据集。

卷积为什么如此强大?理解深度学习中的卷积

有太多的公开课、教程在反复传颂卷积神经网络的好,却都没有讲什么是“卷积”,似乎默认所有读者都有相关基础。这篇外文既友好又深入,所以翻译了过来。文章高级部分通过流体力学量子力学等解释卷积的做法在我看来有点激进,这些领域恐怕比卷积更深奥,所以只需简略看看即可。以下是正文:

卷积现在可能是深度学习中最重要的概念。正是靠着卷积和卷积神经网络,深度学习才超越了几乎其他所有的机器学习手段。但卷积为什么如此强大?它的原理是什么?在这篇博客中我将讲解卷积及相关概念,帮助你彻底地理解它。

网络上已经有不少博客讲解卷积和深度学习中的卷积,但我发现它们都一上来就加入了太多不必要的数学细节,艰深晦涩,不利于理解主旨。这篇博客虽然也有很多数学细节,但我会以可视化的方式一步步展示它们,确保每个人都可以理解。文章第一部分旨在帮助读者理解卷积的概念和深度学习中的卷积网络。第二部分引入了一些高级的概念,旨在帮助深度学习方向的研究者和高级玩家进一步加深对卷积的理解。

什么是卷积

整篇博客都会探讨这个问题,但先把握行文脉络会很有帮助。那么粗略来讲,什么是卷积呢?

同步内容
--电子创新网--
粤ICP备12070055号