神经网络

快速了解深度学习的工作原理

人工智能(AI)和机器学习(ML)是目前最热门的话题。

术语“AI”每天无处不在。经常听到有抱负的开发者说他们想要学习人工智能。还听到高管们说他们希望在他们的服务中实施AI。但很多时候,很多人都不明白AI是什么。

阅读完本文后,您将了解AI和ML的基础知识。更重要的是,您将了解最受欢迎的ML类型深度学习是如何工作的。

背景

了解深度学习如何运作的第一步是掌握重要术语之间的差异。

人工智能与机器学习

人工智能是人类智能在计算机中的复制。

当AI研究首次开始时,研究人员正试图复制人类智能以执行特定任务 - 比如玩游戏。

他们介绍了计算机需要尊重的大量规则。计算机有一个特定的可能操作列表,并根据这些规则做出决策。

机器学习是指机器使用大型数据集而不是硬编码规则进行学习的能力。

ML允许计算机自己学习。这种类型的学习利用了现代计算机的处理能力,可以轻松处理大型数据集。

监督学习与无监督学习

监督学习涉及使用具有输入和预期输出的标记数据集。

人工神经网络真的像神经元一样工作吗?

人工神经网络和机器学习已经成为大众媒体的热门主题。智能机器这一想法勾起了很多人的想象,而且人们特别喜欢把它和人类放一起比较。特别是有一个关于人工智能的底层机制的基础问题经常出现——这些人工神经网络的工作方式真的和我们大脑中的神经元相似吗?

神经网络:卷积神经网络

一、前言

这篇卷积神经网络是前面介绍的多层神经网络的进一步深入,它将深度学习的思想引入到了神经网络当中,通过卷积运算来由浅入深的提取图像的不同层次的特征,而利用神经网络的训练过程让整个网络自动调节卷积核的参数,从而无监督的产生了最适合的分类特征。这个概括可能有点抽象,我尽量在下面描述细致一些,但如果要更深入了解整个过程的原理,需要去了解DeepLearning。

这篇文章会涉及到卷积的原理与图像特征提取的一般概念,并详细描述卷积神经网络的实现。但是由于精力有限,没有对人类视觉的分层以及机器学习等原理有进一步介绍,后面会在深度学习相关文章中展开描述。

二、卷积

卷积是分析数学中一种很重要的运算,其实是一个很简单的概念,但是很多做图像处理的人对这个概念都解释不清,为了简单起见,这里面我们只介绍离散形式的卷积,那么在图像上,对图像用一个卷积核进行卷积运算,实际上是一个滤波的过程。

我们先看一下卷积的基本数学表示:

强人工智能基本问题:神经网络分层还是不分层

现代的大部分机器学习的算法将神经元分出了清晰的层次。所谓分层,即将神经元分为几层(也可认为是几组)。每层内的神经元没有联系,相邻的层与层之间的神经元会有两两的联系,从而形成一个关系矩阵。非相邻层的神经元之间没有联系。这里的相邻指的是神经元层次之间的关系,每层神经元有一层或者前后两层相邻。

一般神经网络的算法的神经元层数是有限的,一般是两三层。在理论上,三层神经元(包括输入、输出和隐含层,除去输入输出,也可算做只有一层)就足以解决所有问题了,因为中间的隐含层能够表达所有函数。但这只是数学上的可能性,实际中如果只用一个隐含层来实现人类智能,需要的节点数量估计近似于无穷。

增加神经网络的层数,如同从加法到乘法、指数一样,抽象出类似的层次,进行归纳,从而减小问题的计算复杂性。人的大脑对信息的加工其实也是分层次的。比如对语言的听觉处理,先有有种频率,振幅的层次,然后是频率的变化,不同频率的组合的层次,再往后是音节层次,随后到了词汇层次。最后产生到我们能感觉到的信息层次和粒度,包括谁在说话,说的什么意思,心情如何等。底层的过滤甚至会让我们忽视对方用的是什么方言和语言。到了深度学习,神经网络的层次才到了真正的多层结构。其实大家一直就知道多层好,但苦于不知道怎么训练多层的模型,从而无法应用。深度学习给出了一个切实可行的多层训练方案,所以多层模型也开始广泛的应用了。

机器学习之神经网络模型——上(Neural Networks: Representation)

在这篇文章中,我们一起来讨论一种叫作“神经网络”(Neural Network)的机器学习算法,这也是我硕士阶段的研究方向。我们将首先讨论神经网络的表层结构,在之后再具体讨论神经网络学习算法。

神经网络实际上是一个相对古老的算法,并且沉寂了一段时间,不过到了现在它又成为许多机器学习问题的首选技术。

1. Non-linear Hypotheses

之前我们已经介绍过线性回归和逻辑回归算法了,那为什么还要研究神经网络?

为了阐述研究神经网络算法的目的,我们首先来看几个机器学习问题作为例子。这几个问题的解决都依赖于复杂的非线性分类器。

考虑这个监督学习分类的问题,我们已经有了对应的训练集,如果利用逻辑回归算法来解决这个问题,首先需要构造一个包含很多非线性项的逻辑回归函数,这里 g 仍是 s 型函数 (即f(x)=1/(1+e^-x) )。我们能让函数包含很多像这样的多项式项,事实上,当多项式项数足够多时那么可能你能够得到一个分开正样本和负样本的分界线。

1

深度学习(一) BP神经网络

怎样理解非线性变换和多层网络后的线性可分,神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换

线性可分:

一维情景:以分类为例,当要分类正数、负数、零,三类的时候,一维空间的直线可以找到两个超平面(比当前空间低一维的子空间。当前空间是直线的话,超平面就是点)分割这三类。但面对像分类奇数和偶数无法找到可以区分它们的点的时候,我们借助 x % 2(除2取余)的转变,把x变换到另一个空间下来比较0和非0,从而分割奇偶数。

深度学习(一) BP神经网络

二维情景:平面的四个象限也是线性可分。但下图的红蓝两条线就无法找到一超平面去分割。
深度学习(一) BP神经网络

一文了解LSTM和GRU背后的秘密

你好,欢迎阅读长短期记忆网络(LSTM)和门控循环单元(GRU)的图解文章。我是Michael,是AI语音助理领域的机器学习工程师。

在这篇文章中,我们将从LSTM和GRU背后的原理出发。然后我将解释允许LSTM和GRU表现良好的内部机制。如果你想了解这两个网络的背后到底是什么,那么这篇文章就是为你准备的。

一文了解LSTM和GRU背后的秘密

问题根源短期记忆

递归神经网络(RNN)具有短期记忆。如果序列足够长,他们将很难将信息从较早的时间步骤传送到后面的步骤。因此,如果你正在尝试对一段文本进行预测,RNN可能会从一开始就遗漏掉重要信息。

在反向传播期间,递归神经网络(RNN)会遇到梯度消失问题。梯度是用于更新神经网络权重的值。梯度消失问题是当梯度随着时间的推移传播时梯度下降。如果梯度值变得非常小,则不会继续学习。

神经网络从被人忽悠到忽悠人(一)

很早的时候就想写几篇关于人工智能的东西,把人工智能的东西写的通俗易懂点,但是毕竟人工智能的东西涉及的领域太广了,特别是对数学和概率有比较深的理解,如果只是想简单的了解,可以跳过文章的公式。

很难想象有什么事物会像廉价、强大、无处不在的人工智能那样拥有“改变一切”的力量。《必然》

前段时间的AlphaGo再次的把人工智能炒的火热,关于人工智能的讨论又再次进入讨论的风口浪尖上。各个方面对AlphaGo技术的猜测,神经网络也再次成为了技术的焦点。

一个看似简单的问题

给你一堆的图片,从图片中分出是猫,狗。归结成一个大问题:分类。本身来说,分类对计算机来说本该是最擅长的,本身0和1,就是很好的分类,编程语言的if else,swich,可以做到很好的分类。

像if else这种做法,似乎我们可以编写一套复杂的规则,这个规则覆盖所有的情况,就能够进行准确的分类了。但是这条路是走不通的,之前的自然语言处理就走过这条路。需要另外的选择一条出路。对,建模。通过模型来进行分类。

神经网络从原理到实现

1. 简单介绍

在机器学习和认知科学领域,人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分:

结构 (Architecture) 结构指定了网络中的变量和它们的拓扑关系。例如,神经网络中的变量可以是神经元连接的权重(weights)和神经元的激励值(activities of the neurons)。

激励函数(Activity Rule) 大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重(即该网络的参数)。

神经网络简史

追根溯源,神经网络诞生于人类对于人脑和智能的追问。而这个追问经历了旷远蒙昧的精神至上学说,直到 19 世纪 20 年代。

“”

奥地利医生 Franz Joseph Gall ( 1758-1828 ) 推测人类的精神活动是由脑的功能活动而实现的,这才使人们认识到意识和精神活动具有物质基础,从而使人们对精神活动的认识从唯心主义的错误观点转到了唯物主义的正确轨道上来。

“”

意大利细胞学家 Camillo Golgi ( 1843~1926 )徒手将脑组织切成薄片,用重铬酸钾 - 硝酸银浸染法染色,第一次在显微镜下观察到了神经细胞和神经胶质细胞。这为神经科学的研究提供了最为基本的组织学方法。

同步内容
--电子创新网--
粤ICP备12070055号