深度学习

深度学习时代的目标检测算法综述

作者:Javier Rey

目标检测 VS 其他计算机视觉问题

分类问题

这或许是计算机视觉领域内最著名的问题。它主要指将一张图像归为某种类别。学术界最流行的一类数据集是 ImageNet,由数以百万计已分好类的图像组成,(部分)用于年度 ImageNet 大规模视觉识别挑战比赛(ILSVRC)。近年来,分类模型已经超过了人类的表现,因此该问题基本算是一个已经解决的问题。图像分类领域有许多挑战,但是也有许多文章介绍已经解决了的,以及未解决的挑战。

深度学习时代的目标检测算法综述
分类样例

开源深度学习框架对比

本节对5个开源深度学习框架进行对比研究,主要侧重于3个维度研究:硬件支持率、速度和准确率、社区活跃性。他们分别是:TensorFlow、Caffe、Keras、Torch、DL4j 。

2.3.1 硬件支持率

本节研究的硬件利用率指不同开源深度学习框架对于不同CPU/GPU配置下对硬件的支持效率与通用性能表现。

开源深度学习框架对比
表2.1展示了各框架对于不同硬件的通用支持性能。

2.3.2 速度和准确率

本节将梯度计算时间、前馈传播和反馈传播时间总和度量,不对各项进行细分。且所有试验数据基于CPU。

模型。

和传统模式说再见,看机器学习如何走向深度学习?

作者:小鲸

主流的科技公司已在积极地把自己定位成AI或者机器学习公司:谷歌把“AI先行”作为公司战略,Uber自带机器学习的血统,而各种AI研究实验室更是层出不穷。

这些公司都在想尽办法说服世界,“机器智能的革命时代正在到来”。它们尤其强调深度学习,因为这些都在推动自驾汽车、虚拟助手等概念的发展。

尽管现在这些概念很流行,然而当下的实践却没那么乐观。

现在,软件工程师和数据科学家仍在使用许多几年前的算法和工具。

这也意味着,传统的机器学习模式仍在支撑着大多数AI的应用,而不是深度神经网络。工程师仍然用传统工具来处理机器学习,但是这并不起作用:采用数据建模的流水线最终由零散、不兼容的片段构成。这种情况在逐渐变化,因为大型科技公司正在研发具有端到端功能的特定机器学习平台。

和传统模式说再见,看机器学习如何走向深度学习?

机器学习“三明治”中夹了什么?

「深」到什么程度才能称得上是「深度」学习呢?

不管你是业内人士还是业外人士,在人工智能以燎原之势发展的今天,相信对于AI、机器学习、深度学习这些词汇,你或多或都有一定的了解,而其中作为人工智能前沿的深度学习,火爆程度更是非同寻常,似乎每个人都在探求它的奥妙和神奇之处。

而当我们第一次接触深度学习这个概念时,通常会遇到这样一个问题:

“一个机器学习模型深到何种程度才能被视作深度学习模型?”

这可能听起来像是一个好问题。毕竟,在深度学习中,我们使用的都是更深、更复杂的模型。

但结果却表明,我们提出的是一个非常愚蠢的问题,我们需要从一个不同的角度切入,来看深度学习以了解为什么。

那接下来我们先来了解一下深度学习的几组定义。

“机器学习中的一个子领域,它是基于学习多种表现形式的算法,以便在数据之间建立复杂关系。因此,较高级别的特征和概念就是根据较低级别的特征和概念进行定义的,且这种特征层次被称之为深度架构。”——《深度学习:方法与应用》

【导读】如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,并提供解决方法和原因解释,是深度学习实践的有用资料。

如果你的神经网络不工作,该怎么办?作者在这里列出了建神经网络时所有可能做错的事情,以及他自己的解决经验。

1.忘记规范化数据
2.忘记检查结果
3.忘记预处理数据
4.忘记使用正则化
5.使用的batch太大
6.使用了不正确的学习率
7.在最后层使用了错误的激活函数
8.你的网络包含了Bad Gradients
9.初始化网络权重不正确
10.你使用的网络太深了
11.使用隐藏单元的数量不对

忘记规范化数据了

问题描述:
在使用神经网络时,思考如何正确地规范化数据是非常重要的。这是一个无法改变的步骤——假如这一步骤没有小心、正确地做,你的网络就几乎不可能工作。由于这个步骤非常重要,在深度学习社区中也是众所周知的,所以它很少在论文中被提及,因此初学者常常在这一步出错。

怎样解决?

给人工智能降点温:深度学习不是万能良药

近几年,深度学习已经进入一定程度的狂热状态,人们正试图用这个技术解决每一个问题。然而,深度学习真是万能的吗?阅读此文后,你便能够从深层理解为什么深度学习并不是想象的那般“神话”了。

写在前面

近日,在深度学习领域出现了一场热烈的争论。这一切都要从 Jeff Leek 在 Simply Stats 上发表了一篇题为《数据量不够大,别玩深度学习》(Don’t use deep learning your data isn’t that big)的博文开始。作者 Jeff Leek 在这篇博文中指出,当样本数据集很小时(这种情况在生物信息领域很常见),即使有一些层和隐藏单元,具有较少参数的线性模型的表现是优于深度网络的。为了证明自己的论点,Leek 举了一个基于 MNIST 数据库进行图像识别的例子,分辨 0 或者 1。他还表示,当在一个使用仅仅 80 个样本的 MNIST 数据集中进行 0 和 1 的分类时,一个简单的线性预测器(逻辑回归)要比深度神经网络的预测准确度更高。

编者按:本文来自“极限元”,作者 马骥,极限元智能科技联合创始人,中科院-极限元“智能交互联合实验室”副主任。

深度学习在2006年开始崭露头脚后,近几年取得了飞速的发展,无论是学术研究还是企业应用均呈现出指数级增长的趋势;伴随着这项技术的不断成熟,深度学习在智能语音领域率先发力,取得一系列成功的应用。

例如,
一. 音色的定制化,需要跟踪录大量的音库,重新训练一个模型;
二. 个性化表示方法的定制化,可以录一些数据,通过深度学习训练模型,自适应的方法来实现。

深度学习在统计参数语音合成中的应用

语音合成主要采用波形拼接合成和统计参数合成两种方式。波形拼接语音合成需要有足够的高质量发音人录音才能够合成高质量的语音,它是商业产品中最常用的语音合成技术。统计参数语音合成虽然整体合成质量略低,但是在小规模语料、低占用资源的情况下,优势更为明显。此外,混合语音合成联合了波形拼接合成和统计参数合成的优势,选音方法类似于传统的波形拼接方法,它利用参数合成方法来指导选音;接下来重点介绍目前广泛使用的语音合成方法:

(1) 传统的基于DNN/LSTM的合成

干货丨初学者 AI 入门指南:深度学习的五级分类

编者按:目前AI被笼统划分为“弱人工智能”、“强人工智能”、“超人工智能”三个类别。甚至在很多业内专家(比如洪小文)眼中,只有“强”、“弱”AI的区别,因为“超人工智能”离我们实在还很远,难以捉摸。这样的笼统分类显然不利于大众对于各项AI技术进行认识和理解。因此,一些专家开始提出基于技术难度和AI智能水平的分类、分级方法。其中,美国学者Arend Hintze提出了对AI的四级分类, 而Intuition Machine联合创始人Carlos Perez又提出了针对深度学习的五级分类。这些分类方法对各层次AI技术进行了简单的归类,有助于初学者更好地认识AI 。

密歇根州立大学副教授Arend Hintze发表了一篇很有价值的短文章《理解AI的四种类别:从响应式机器到有自我意识的存在》( “Understanding the four types of AI, from reactive robots to self-aware beings” )。文中,他提出了对AI的四级分类:

• 响应式

这是最基本的AI类型,无法产生记忆,不能利用过去的经验做决策。它们是“专才”而非“通才”,为完成特定任务所设计,不能胜任其他任务。

• 有限记忆

深度学习项目成功的六要素

深度学习可以应用在哪些场合呢?这是大家在理解深度学习和其它人工智能技术时首先想到的问题。我们往往陷入一个误区,认为“人工智能”可以搞定一切。

若要回答这个问题,首先要知道另一个问题的答案,“我们手中是否已经有足够的数据”?然而,这个问题也需要足够的领域知识才能作答。在学术意义上,我们想理解“边界条件”;或者换句话说,我们想理解问题的内在约束条件。那么,深度学习和人工智能问题的“边界条件”究竟是什么呢?

早些时候,笔者讨论过“什么是可知的”和“什么是知识的当前状态?若想理解领域知识,就必须搞明白知识的当前状态是什么。不确定度是以可知的内容为参照来衡量未知知识的度量。但不确定度有一个奇怪的假设,即假设一切事物最终都是可知的。这相当于我们相信决定论,可是在真实的世界往往捉摸不定。

然而,这个度量名称对我们识别问题的边界很有帮助。下面是问题清单。若问题的答案是否定的,那预示着不确定性的存在。以下采用执行者、活动和环境来描述整个语境。

• 执行的不确定性 - 从环境的初始状态开始,执行者不同的执行顺序是否总是得到同样的最终状态?
• 观测的不确定性 - 执行者是否能够获取完整的环境信息?

深度学习:远非人工智能的全部和未来

作者:Fabio Ciucci

人工智能的这一波热潮毫无疑问是由深度学习引发的,自吴恩达等人 2011 年发表「识别猫」研究后,深度学习及其引发的技术已经在图像识别、游戏等任务中超越人类,并让机器学习技术的应用带入人们的生活。这种 AlphaGo 背后的技术是否是未来人工智能的方向?Fabio Ciucci 给出了他的看法。

现在每一个人都在学习,或者正打算学习深度学习(DL),它是目前人工智能诸多流派中唯一兴起的一个。各个年龄阶段的数十万人学习着免费和收费的深度学习课程。太多的创业公司和产品的命名以「深度」开头,深度学习已然成了一个流行语,但其真正使用实际上很少。绝大多数人忽略了深度学习只占机器学习领域的 1%,而机器学习又只占到了人工智能领域的 1%。余下的 99% 则被用来处理实践中的绝大多数任务。一个深度学习专家无法与人工智能专家划上等号。

同步内容
--电子创新网--
粤ICP备12070055号