深度学习

神经进化:一种不一样的深度学习

作者:Kenneth O. Stanley
转自: oreilly.com

神经进化正在复兴。主要的人工智能实验室和研究人员正在试验它,一丝新的成功点燃了更多的热情,能对于深度学习产生影响的新机遇正在出现。也许你在深度学习所有的激动人心的时刻并没有听到过神经进化,但它只是潜行于表面之下,作为一个小的热情的研究社区的课题存在了几十年。现在它正伴随着大众对于它的潜力的了解而开始获得更多的关注。

简单来说,神经进化是人工智能和机器学习领域的一个分支。它力图触发一个和产生我们人类大脑类似的进化过程,只不过这个过程是在计算机里实现的。换句话说,神经进化试图开发通过进化算法去寻找进化神经网络的方法。

深度学习颠覆了对话人工智能

作者:Yishay Carmiel
转自: oreilly.com

语音识别的梦想是一个能在不同的环境下、能应对多种口音和语言的、真正理解人类语言的系统。几十年来,对这个问题的尝试都没有成功。寻找一个能有效地创建这样的系统的策略看起来是不可能完成的任务。

然而,在过去的几年间,人工智能和深度学习领域的突破已经颠覆了对语音识别探索的一切。深度学习技术在语音识别领域的运用已经取得了显著的进步。现在我们已经在非常多样的产品(比如Amazon Echo、Apple Sir等)里面看到了展示出来的发展的跃升。在这篇博文里,我会回顾一下近期语音识别的发展,检视带来这些快速进步的因素,并会讨论一下未来的发展以及我们离完全解决这个问题还有多远。

一点背景知识

多年以来,人工智能的主要任务之一就是去理解人类。人们希望机器不仅能理解人说了什么,还能理解他们说的是什么意思,并基于这些理解的信息采取相应的动作。这个目标就是对话人工智能的精髓。

一文读懂深度学习与机器学习的差异

如果你经常想让自己弄清楚机器学习和深度学习的区别,阅读该文章,我将用通俗易懂的语言为你介绍他们之间的差别。
机器学习和深度学习变得越来越火。突然之间,不管是了解的还是不了解的,所有人都在谈论机器学习和深度学习。无论你是否主动关注过数据科学,你应该已经听说过这两个名词了。

为了展示他们的火热程度,我在 Google trend 上搜索了这些关键字:

一文读懂深度学习与机器学习的差异

如果你想让自己弄清楚机器学习和深度学习的区别,请阅读本篇文章,我将用通俗易懂的语言为你介绍他们之间的差别。下文详细解释了机器学习和深度学习中的术语。并且,我比较了他们两者的不同,别说明了他们各自的使用场景。

什么是机器学习和深度学习?

让我们从基础知识开始:什么是机器学习?和什么是深度学习?如果你对此已有所了解,随时可以跳过本部分。

什么是机器学习?

外行也能看懂的科普:这就叫自然语言处理

一、什么是自然语言处理

简单地说,自然语言处理(Natural Language Processing,简称NLP)就是用计算机来处理、理解以及运用人类语言(如中文、英文等),它属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言,人类的思维也就无从谈起,所以自然语言处理体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了处理自然语言的能力时,机器才算实现了真正的智能。

从研究内容来看,自然语言处理包括语法分析、语义分析、篇章理解等。从应用角度来看,自然语言处理具有广泛的应用前景。特别是在信息时代,自然语言处理的应用包罗万象,例如:机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等,它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。

语音识别的下一攀登高峰是“人文境界”?

自从深度学习大热,广泛应用于语音识别以来,字幕中的单词错误率急剧下降。尽管如此,语音识别并没有达到人文水平,它仍会出现一些故障。承认这些然后采取措施来解决这些问题对于语音识别的进步至关重要。这是唯一的从可以识别一些人的ASR到识别任何时间任何人的ASR的方式。

语音识别的下一攀登高峰是“人文境界”?

在近期的Switchboard语音识别基准测试中,单词的错误率得到改进。Switchboard集其实是在2000年收集的,它是由两个随机的以英语为母语的人之间的40个电话对话组成。

可以说目前我们已经在会话式语音识别上达到“人类”水平,但仅仅只是在Switchboard方面。这个结果就像是在一个阳光灿烂的日子里的某城市中,只有一个人驾驶着自动驾驶汽车进行测试。最近在这方面取得的进步令人惊讶,但是,关于达到“人类”水平的说法还是太过宽泛,以下是一些仍需要改进的几个方面。

口音和噪音

对深度学习的逃逸攻击 — 探究人工智能系统中的安全盲区

作者: 肖奇学1, 许伟林2, 李康1 (1. 来自 360 Team Seri0us 团队, 2. 美国弗吉尼亚大学)

“逃逸攻击就是要把百分之零点零零一的误判率变成百分之百的攻击成功率”。

虽然深度学习系统经过训练可以对正常输入达到很低的误判率,但是当攻击者用系统化的方法能够生成误判样本的时候,攻击的效率就可以接近100%,从而实现稳定的逃逸攻击。

1、逃逸攻击简介

逃逸是指攻击者在不改变目标机器学习系统的情况下,通过构造特定输入样本以完成欺骗目标系统的攻击。例如,攻击者可以修改一个恶意软件样本的非关键特征,使得它被一个反病毒系统判定为良性样本,从而绕过检测。攻击者为实施逃逸攻击而特意构造的样本通常被称为“对抗样本”。只要一个机器学习模型没有完美地学到判别规则,攻击者就有可能构造对抗样本用以欺骗机器学习系统。例如,研究者一直试图在计算机上模仿人类视觉功能,但由于人类视觉机理过于复杂,两个系统在判别物体时依赖的规则存在一定差异。对抗图片恰好利用这些差异使得机器学习模型得出和人类视觉截然不同的结果,如图1所示[1]。

什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器算吗?

本文选自Quora上的提问,“什么比深度学习更好?”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

(Sridhar Mahadevan 1990年毕业于罗格斯大学,获得计算机科学博士学位;是AAAI Fellow;是SRI International的执行主任)

在回答这个问题之前,必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

• “更好”=标签数据集的精确度。在这种情况下,目前来看没有优于机器学习的。例如,深度学习在Imagenet或者言语/语言翻译等领域的大型标签数据集上表现最好。但是,根据我在机器学习30多年的研究经验,世事无常。正如一切奥运纪录都将被打破,总会有更新更好的事物出现。但目前为止,深度学习仍然拔得头筹。

深度学习在 NLP 上的七大应用

作者|Jason Brownlee
译者|CarolGuo

自然语言处理领域正从统计模型转到神经网络模型。

自然语言中仍然存在许多具有挑战性的问题。然而,深度学习方法在某些特定的语言问题上可以获得最先进的结果。
最有趣的不仅仅是深度学习模型在基准问题上的性能;事实上,一个单一的模型可以学习单词的意思和执行语言任务,从而避免需要一套专门的和手工的方法。

在这篇文章中,你将发现 7 种有趣的自然语言处理任务,其中深度学习方法正在取得一些进展。

概述

在此文中,我们将看看下面的 7 种自然语言处理问题。
1、文本分类
2、语言模型
3、语音识别
4、说明生成
5、机器翻译
6、文本摘要
7、问答系统

我尝试着重于你可能感兴趣的最终用户问题类型,而不是那些深度学习应用性能很好的学术或语言子问题(如词性标签、分块、命名实体识别,等等)。
每一个例子提供了问题描述、示例以及对演示方法和结果的参考文献。大多数参考文献来自于 Goldberg 所整理的 2015 年 NLP 研究人员深度学习入门。
这里有没有尚未列出的你最喜欢的深度学习之 NLP 应用?

文本分类

深度学习框架中的魔鬼 — 探究人工智能系统中的安全问题

作者: 肖奇学, 李康(来自360 Team Seri0us 团队)

深度学习引领着新一轮的人工智能浪潮,受到工业界以及全社会的广泛关注。 虽然大家对人工智能有很多美好的憧憬,但是现实是残酷的 — 随着一批深度学习应用逐渐开始变成现实,安全问题也渐渐显现出来。

人工智能应用面临来自多个方面的威胁:包括深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。 这些威胁可能导致人工智能所驱动的识别系统出现混乱,形成漏判或者误判,甚至导致系统崩溃或被劫持,并可以使智能设备变成僵尸攻击工具。

在推进人工智能应用的同时,我们迫切需要关注并解决这些安全问题。本文作为人工智能与安全的系列文章之一,首先介绍我们在深度学习框架中发现的安全问题。

1、人工智能讨论中的安全盲点

深度学习的局限性,你了解吗?

AI、机器学习、深度学习是近年大热的领域,但我们要清楚,深度学习的局限性,即虽然可以使用连续几何变换把 X 映射到 Y,但缺乏推理能力和抽象能力。训练集样本不足,有些数据无法用连续的几何变换表示。虽然现在机器学习能够改变很多行业的游戏规则,但距离人性化 AI 还有很远的路要走。

深度学习:几何视图

关于深度学习最令人惊讶的它把复杂简单化。十年前,没人能想到,通过梯度下降的训练简单的参数模型,就能实现机器感知方面的如此惊人的结果。现在,事实证明,你只需要考虑足够多的例子以及所需要的大量参数模型就够了。费曼曾经这么描述过宇宙,「It’s not complicated, it’s just a lot of it」。

同步内容
--电子创新网--
粤ICP备12070055号