「深」到什么程度才能称得上是「深度」学习呢?

不管你是业内人士还是业外人士,在人工智能以燎原之势发展的今天,相信对于AI、机器学习、深度学习这些词汇,你或多或都有一定的了解,而其中作为人工智能前沿的深度学习,火爆程度更是非同寻常,似乎每个人都在探求它的奥妙和神奇之处。

而当我们第一次接触深度学习这个概念时,通常会遇到这样一个问题:

“一个机器学习模型深到何种程度才能被视作深度学习模型?”

这可能听起来像是一个好问题。毕竟,在深度学习中,我们使用的都是更深、更复杂的模型。

但结果却表明,我们提出的是一个非常愚蠢的问题,我们需要从一个不同的角度切入,来看深度学习以了解为什么。

那接下来我们先来了解一下深度学习的几组定义。

“机器学习中的一个子领域,它是基于学习多种表现形式的算法,以便在数据之间建立复杂关系。因此,较高级别的特征和概念就是根据较低级别的特征和概念进行定义的,且这种特征层次被称之为深度架构。”——《深度学习:方法与应用》

“概念层次结构允许计算机通过从简单的概念中构建复杂的概念,然后学习这些复杂的概念。 如果我们绘制一个能够显示这些概念是如何相互叠加的图形,那么这个图形一定是具有深度的,且具有很多层。考虑到这一点,我们将这种方法称为AI深度学习。”——《深度学习》 .麻省理工学院出版社,Ian Goodfellow、Yoshua Bengio和Aaron Courville。

这是一种称为分层特征学习的概念。为了理解这一点,让我们回顾一下深度学习模型的运作方式。

以卷积神经网络为例。

卷积神经网络是深度学习的一个典范。它们的兴起启发于神经元是如何在视觉皮层(处理视觉输入的大脑区域)排列的。在这里,不是所有的神经元都连接到视觉域的所有输入。取而代之的是,视觉区域是由一组神经元(称为接受域)组成的,它们部分地相互重叠。

卷积神经网络(CNN)的工作方式与之类似。它们使用数学卷积运算符来处理输入的重叠部分(其近似接收域的工作方式)。

「深」到什么程度才能称得上是「深度」学习呢?
卷积神经网络

典型CNN的第一卷积层使用一组卷积滤波器来识别输入图像中的一组低级特征。然后将这些已识别出的低级特征合并(来自池化层),并将其作为下一个卷积层的输入,该卷积层使用另一组卷积滤波器从先前识别的较低级别特征中识别一组较高级别的特征。这将继续几层,其中每个卷积层使用来自前一层的输入来识别比前一层更高级别的特性。最后,最后一个卷积层的输出传递给一组完全连接的层,以用于进行最终分类。

实质上,CNN的卷积滤波器首先要识别较低层次的特征,并使用这些已识别的特征通过多个步骤逐步识别更高层次的特征。

这是我们之前讨论的分层特征学习,它是深度学习的关键,它与传统的机器学习算法有什么区别?

「深」到什么程度才能称得上是「深度」学习呢?
分层特征学习

一个深度学习模型(如卷积神经网络)并不会试图即刻理解整个问题所在。

也就是说,它不会像传统的算法一样,试图一次性地掌握所有的输入特征。

它所做的就是逐件地查看输入,并从中获得较低级别的模式/特征,然后,使用这些较低级别的特征来逐层识别更多级别的特征,这些都是通过对多层进行逐此分层实现的。

这使得深度学习模型能够学习复杂的模式,通过从简单的模式逐渐构建它们。这也使深度学习模型能够更好地理解世界,而不仅仅是“看见”特征,还可以看到这些特征的构建层次结构。

当然,必须分层学习特征意味着模型必须有很多层。这意味着这样一个模式将会“很深”。

这使我们回到原来的问题上:我们不是因为深度模型而将其称为深度学习。而是为了实现层次化学习,模型需要深度。深度是实现分层特征学习的副产品。

分层特征学习是使得深度学习模型能够抛开传统机器学习模型中的“平台效应(Plateau in Performance)”的原因。

「深」到什么程度才能称得上是「深度」学习呢?
深度学习(不具备)平台效应

那么,我们如何识别模型是深度学习模型还是普通模型?

简单地说,如果模型使用分层特征学习——首先识别较低级别的特征,然后建立在它们之上以识别更高级别的特征(例如通过使用卷积滤波器),那么它就是一个深度学习模型。如果没有,那么无论你的模型有多少层,那么它都不被认为是深度学习模型。

这意味着具有100个完全连接的层(并且只有完全连接的层)的神经网络将不再是深度学习模型,而某些具有少量卷积层的网络却可以称为深度学习。

转自: 炼数成金

--电子创新网--
粤ICP备12070055号