人工神经网络

人工神经网络真的像神经元一样工作吗?

来源:Medium/编译:weakish

编者按:Google产品经理Yariv Adan讨论了困惑很多人的问题:人工神经网络和人类大脑中的神经网络到底有多像?

人工神经网络和机器学习已经成为大众媒体的热门主题。智能机器这一想法勾起了很多人的想象,而且人们特别喜欢把它和人类放一起比较。特别是有一个关于人工智能的底层机制的基础问题经常出现——这些人工神经网络的工作方式真的和我们大脑中的神经元相似吗?

Tl;Dr

不。尽管从高层概念上说,ANN(人工神经网络)受到了大脑中的神经元和神经网络的启发,但这些概念的ML实现和大脑的工作方式大有径庭。不仅如此,随着这些年来ML领域的进展,新的复杂想法和技术的提出(RNN、GAN等)——这一联系进一步削弱了。

关键相似点

前馈全连接网络的高层架构和一般原则体现了人工神经网络和大脑中的神经网络的相似性。

从高层看,大脑的神经元由三部分组成:

人工神经网络真的像神经元一样工作吗?

人工神经网络和机器学习已经成为大众媒体的热门主题。智能机器这一想法勾起了很多人的想象,而且人们特别喜欢把它和人类放一起比较。特别是有一个关于人工智能的底层机制的基础问题经常出现——这些人工神经网络的工作方式真的和我们大脑中的神经元相似吗?

强人工智能基本问题:全局控制与自组织

大脑是非常复杂的,研究强人工智能需要参考大脑的结构和算法,来理解并创造智能。人脑算法、结构的秘密都隐藏在DNA和人存在的世界中。从现在的哲学和科学的认知来看,可认为人脑是自组织的,没有明确的全局目标函数。而自组织是大脑非常重要的一个特点。自组织最大的好处是人工介入少,这是对智力生产力的解放,代表了下一代生产力。

当前的人工神经网络算法以全局控制为主流。虽然有一部分自组织的算法,但是其应用范围非常小。所谓全局控制,即需要比人工神经网络更高级的观察者来控制神经网络,比如设定神经网络的目标,选择其算法,设定参数等。而自组织系统则最小化对系统的初始设定,把其余部分交给神经网络系统自己去调整。

在全局控制的神经网络系统中,全局控制的部分包括:

1)神经网络算法和数据结构。现在已经出现了很多神经网络算法,它们有各自的优势和其擅长解决的问题。在解决实际问题中需要根据经验,或各种方案都试验一下,来看看哪种算法给出的结果更好,并决定所使用的算法。一般在算法决定后,数据结构也随之决定了。

2)神经网络规模。在通常的机器学习算法中,都在设计模型的过程中决定每个模型的规模。规模太大运算复杂度太高,规模太小则无法得出足够精确的结果。

【人工神经网络基础】为什么神经网络选择了“深度”?

现在提到“神经网络”和“深度神经网络”,会觉得两者没有什么区别,神经网络还能不是“深度”(deep)的吗?我们常用的 Logistic regression 就可以认为是一个不含隐含层的输出层激活函数用 sigmoid(logistic) 的神经网络,显然 Logistic regression 就不是 deep 的。不过,现在神经网络基本都是 deep 的,即包含多个隐含层。Why?

1. universality approximation theorem(通用近似定理)

任何连续的函数 f : RN→RM 都可以用只有一个隐含层的神经网络表示。(隐含层神经元足够多)

【人工神经网络基础】为什么神经网络选择了“深度”?
图 1:仅含一个隐含层的神经网络示意图

人工神经网络到底能干什么?到底在干什么?

1.McCulloch-Pitts 神经元模型

早在1943 年,神经科学家和控制论专家Warren McCulloch 与逻辑学家Walter Pitts就基于数学和阈值逻辑算法创造了一种神经网络计算模型。其中最基本的组成成分是神经元(Neuron)模型,即上述定义中的“简单单元”(Neuron 也可以被称为Unit)。在生物学所定义的神经网络中(如图1所示),每个神经元与其他神经元相连,并且当某个神经元处于兴奋状态时,它就会向其他相连的神经元传输化学物质,这些化学物质会改变与之相连的神经元的电位,当某个神经元的电位超过一个阈值后,此神经元即被激活并开始向其他神经元发送化学物质。Warren McCulloch 和Walter Pitts 将上述生物学中所描述的神经网络抽象为一个简单的线性模型(如图2所示),这就是一直沿用至今的“McCulloch-Pitts 神经元模型”,或简称为“MP 模型”。

神经网络从原理到实现

1.简单介绍

在机器学习和认知科学领域,人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。

典型的神经网络具有以下三个部分:

• 结构 (Architecture) 结构指定了网络中的变量和它们的拓扑关系。例如,神经网络中的变量可以是神经元连接的权重(weights)和神经元的激励值(activities of the neurons)。

• 激励函数(Activity Rule) 大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重(即该网络的参数)。

神经网络算法的优势与应用

人工神经网络(ANN)以大脑处理机制作为基础,开发用于建立复杂模式和预测问题的算法。

首先了解大脑如何处理信息:
在大脑中,有数亿个神经元细胞,以电信号的形式处理信息。外部信息或者刺激被神经元的树突接收,在神经元细胞体中处理,转化成输出并通过轴突,传递到下一个神经元。下一个神经元可以选择接受它或拒绝它,这取决于信号的强度。

神经网络算法的优势与应用

神经网络算法的优势与应用

现在,让我们尝试了解 ANN 如何工作:

神经进化:一种不一样的深度学习

作者:Kenneth O. Stanley
转自: oreilly.com

神经进化正在复兴。主要的人工智能实验室和研究人员正在试验它,一丝新的成功点燃了更多的热情,能对于深度学习产生影响的新机遇正在出现。也许你在深度学习所有的激动人心的时刻并没有听到过神经进化,但它只是潜行于表面之下,作为一个小的热情的研究社区的课题存在了几十年。现在它正伴随着大众对于它的潜力的了解而开始获得更多的关注。

简单来说,神经进化是人工智能和机器学习领域的一个分支。它力图触发一个和产生我们人类大脑类似的进化过程,只不过这个过程是在计算机里实现的。换句话说,神经进化试图开发通过进化算法去寻找进化神经网络的方法。

对人工神经网络的隐式行为进行可视化

在许多机器学习任务中,人工神经网络尤其是近些年发展起来的深度学习网络,已经取得了十分瞩目的结果。然而,以前研究者往往将神经网络的内部行为当作黑盒来看待,神经网络到底学习到了什么并不了解。近些年来,研究者们逐渐开始关注这一问题,并通过了解其内部行为来帮助优化模型。而这篇工作则是从可视化的角度出发来对待这个问题。

为了理解这篇工作的内容,我们首先需要对神经网络有一定的了解。神经元是神经网络中的最基本单元。一个神经元 (neuron) 接受若干个输入,计算它们的加权和,然后使用“激活”函数对这个和进行处理后,得到输出值。其中,这里的权重就是这个神经元待学习的参数。若干个神经元可以组成一个层 (layer),同一层的神经元之间没有值的传递关系。而多个层可以依次排列起来,前一层中所有(或者部分)神经元的输出作为下一层各个神经元的输入。除了第一层的神经元不需要输入,而直接输出数据的某一分量;最后一层的神经元的输出不再作为其他神经元的输入,而直接用于相应的任务。图1就是这样一种典型的神经网络,它具有三层,第一层为输入,最后一层为输出,中间一层称之为隐含层。我们可以将一个神经网络看作依次对输入数据进行处理的函数,每经过一层原始数据就得到一次变换,最后一层变换后的结果则直接用于处理对应任务。

量子纠缠:从量子物质态到深度学习

作者:程嵩 陈靖 王磊

1、引言
经典物理学的主角是物质和能量。20 世纪初,爱因斯坦写下E =mc2 ,将质量和能量统一在了一起。而从那之后,一个新角色——信息(Information)——逐渐走向了物理学舞台的中央。信息是关于不确定程度的度量。Shannon 创立信息论的初衷是为了定量化地描述信息的存储和传输。Jaynes 从信息论的角度研究多粒子体系,重新阐释了统计力学。原来,物理学家所熟知的热力学熵与Shannon 用来衡量信息量的信息熵(Information Entropy)系出同源。Landauer 指出擦除信息会增加热力学熵,从而产生热量。因此,对于信息的一切处理(比如计算)都受到热力学基本定律的约束。这些工作使人们逐渐意识到,信息不是一个单纯的数学概念,而是与物质和能量一样基本的物理概念。

同步内容
--电子创新网--
粤ICP备12070055号