深度学习

科普 | 深度学习并不是在尝试模拟大脑

通过历史背景了解深度学习是最简单的方式。这里我们仅指出深度学习的几个关键趋势,而不是提供其详细的历史:

深度学习有着悠久而丰富的历史,但随着许多不同哲学观点的渐渐消逝,与之对应的名称也渐渐尘封。 随着可用的训练数据量不断增加,深度学习变得更加有用。 随着时间的推移,针对深度学习的计算机软硬件基础设施都有所改善,深度学习模型的规模也随之增长。 随着时间的推移,深度学习已经解决日益复杂的应用,并且精度不断提高。

**神经网络的众多名称和命运变迁**

许多人都听说过深度学习这一激动人心的新技术。事实上,深度学习的历史可以追溯到 20 世纪 40 年代。深度学习看似是一个全新的领域,只不过因为在目前流行的前几年它还是相对冷门的,同时也因为它被赋予了许多不同的名称 (其中大部分已经不再使用),最近才成为众所周知的“深度学习”。这个领域已经更换了很多名称,它反映了不同的研究人员和不同观点的影响。

一般认为,迄今为止深度学习已经经历了 3 次发展浪潮:
20 世纪 40 年代到 60 年代,深度学习的雏形出现在控制论(cybernetics) 中;
20 世纪 80 年代到 90 年代,深度学习表现为联结主义(connectionism);
直到 2006 年,才真正以深度学习之名复兴。
图 1 给出了定量的展示。

Keras作者、《Python深度学习》一书的作者 Francois Chollet 在博客上发文探讨深度学习的未来,从技术演化的角度,提出未来深度学习的4大走向:模型即程序、超越反向传播和可微分层、自动化的机器学习、终身学习和重复利用模块化子程序。未来深度学习走向无疑是越来越自主化的,但是从技术角度需要什么累积与突破,文章进行了很好的解读。作者认为,机器学习工程师的工作不会消失,相反,工程师将在价值创造链上走高。

鉴于我们对深度神经网络的了解,包括它们的局限性,以及对当下研究图景的掌握,我们是否能预测在短期内,深度学习将会走向何方?下面是一些纯个人的思考。需要注明的是,我没有水晶球,所以可能很多我的预测不会成为现实。这是一篇纯推测的博客。我之所以在此分享这些预测,并不是因为我期望它在未来被证明是完全正确的,而是,在目前看来,它们非常有趣,而且是可行的。

在最上层,我认为有潜力的主要方向是:

1.更贴近通用计算机程序的模型,建立在比当下不同神经网络层远丰富得多的基元之上,这就是我们将如何得到推理和抽象,即当前模型的根本弱点。
2.能让上述情况实现的新形式的学习——允许模型获得更多的发展,而不仅仅局限在不同的转移。
3.需要人类工程师更少干涉的模型,无休止地调整控制旋钮(knobs)不应该是你的工作。

深度学习被「神化」!如何「客观」看待深度学习?

「机器人圈」导览:深度学习随着AlphaGo大胜李世石之后被“神话”,很多人认为深度学习就是挑战人类智力的“神器”。可是,深度学习真的如他们想象的那般“战无不胜”吗?本文编译自hyperparameter.space,作者是Pablo Cordero,就读于加利福尼亚大学圣克鲁斯校区,主攻方向为细胞生物学和再生医学背景下的应用机器学习研究。阅读此文后,你便能够从深层理解,为什么深度学习其实并不像普通百姓想象的那般“神”了,甚至,你还会发现它有时还有些“笨”。

Jason Yosinski坐在美国加州旧金山的一个小型玻璃办公室内,陷入了对人工智能的沉思。作为优步公司的研究科学家,Yosinski正为在笔记本电脑上运行的人工智能(AI)进行“脑外科手术”。

很多AI将改变人类现代生活,例如优步的无人驾驶汽车,Yosinski的程序是一个深度神经网络,其架构或多或少受到了大脑的启发。正如人类大脑一样,这个程序很难从外部理解:它是一个黑箱。

这一特殊的AI能通过大量的标注图像被训练,从而识别像斑马线、消防车、安全带等物体。但它能够识别Yosinski和摄像头前面的记者吗?Yosinski放大了其中一个AI的独立计算节点(神经元),从而查看是什么引发了其响应。

两个幽灵般的白色椭圆状物体浮动在屏幕上。这个神经元似乎已经学会了如何探测人脸轮廓。他说:“它会对你我的面部做出反应,也会对不同大小、不同颜色的人脸做出反应。”

不过,没有人训练这种网络识别人脸。在训练图像中,人类不被标注,但是网络确实在学习识别人脸,也许是与人脸一同出现的物体,比如领带、牛仔帽。该网络如此复杂,以至于人类无法理解其做出的决策。

而Yosinski的探索虽然指明了部分道路,但总体状况依然不清楚。他说:“我们有令人惊叹的模型,但实际上并不理解它们,而且这种情况在逐年恶化。”

深度学习

CNN超参数优化和可视化技巧详解

在深度学习中,有许多不同的深度网络结构,包括卷积神经网络(CNN或convnet)、长短期记忆网络(LSTM)和生成对抗网络(GAN)等。

在计算机视觉领域,对卷积神经网络(简称为CNN)的研究和应用都取得了显著的成果。CNN网络最初的诞生收到了动物视觉神经机制的启发,目前已成功用于机器视觉等领域中。

技术博客Towards Data Science最近发布了一篇文章,作者Suki Lau。文章讨论了在卷积神经网络中,该如何调整超参数以及可视化卷积层。

为什么用卷积神经网络?

首先,我们想要计算机具有什么能力呢?

当我们看到一只猫跳上窗台或在沙发上睡觉时,我们的潜意识会认出它是一只猫。

我们希望计算机也能完成这项任务,即将图像输入后,找出其独有的特征,最终输出该图像的类别信息。

卷积神经网络可以完成这项任务。

何为卷积神经网络?

先谈定义,卷积神经网络是一种特殊的神经网络,其中至少包含一个卷积层。在典型的CNN网络结构中,输入一张图像,经由一系列卷积层、非线性激活层、池化层和全连接层后,可输出相应的类别标签。

卷积神经网络的特别之处在于加入了卷积层。

使用深度学习方法实现面部表情包识别

1、动机

人类面部表情丰富,但可以总结归纳为 7 类基本表情: happy, sad, surprise, fear, anger, disgust, and neutral。面部表情是通过面部肌肉活动表达出来,有些比较微妙且复杂,包含了大量内心活动信息。通过面部表情识别,我们能简单而低成本地度量出观众/用户对内容和服务的态度。例如,零售商使用这些度量评估客户的满意度。健康医疗提供商能在治疗的过程根据病人的表情状态来提高服务。娱乐厂商能够监控观众的喜欢来持续的生产优质的内容。

“2016 is the year when machines learn to grasp human emotions” --Andrew Moore, the dean of computer science at Carnegie Mellon.

训练过的人类很容易读懂其他人的情绪。事实上,只有 14 个月大的婴儿就可以区别出 happy 和 sad 的区别。但是计算机能够比人类在识别情绪上做的更好吗?为了找到答案,我们设计一个深度神经网络使得机器可以读懂人类情绪。换句话说,给机器以“眼”识别面部表情。

2、语料数据

图像语义分割就是机器自动从图像中分割出对象区域,并识别其中的内容。
本文回顾了深度学习在图像语义分割中的发展历程。

语义分割是什么?

语义分割方法在处理图像时,具体到像素级别,也就是说,该方法会将图像中每个像素分配到某个对象类别。下面是一个具体案例。

△ 左边为输入图像,右边为经过语义分割后的输出图像。

该模型不仅要识别出摩托车和驾驶者,还要标出每个对象的边界。因此,与分类目的不同,相关模型要具有像素级的密集预测能力。

目前用于语义分割研究的两个最重要数据集是VOC2012和MSCOCO。

VOC2012:
http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

MSCOCO:
http://mscoco.org/explore/

深度学习助力实现智能行为分析和事件识别

作者:赵放、杜勇、王洪松、吴子丰

行为识别是指通过分析视频、深度传感器等数据,利用特定的算法,对行人的行为进行识别、分析的技术。这项技术被广泛应用在视频分类、人机交互、安防监控等领域。行为识别包含两个研究方向:个体行为识别与群体行为(事件)识别。近年来,深度摄像技术的发展使得人体运动的深度图像序列变得容易获取,结合高精度的骨架估计算法,能够进一步提取人体骨架运动序列。利用这些运动序列信息,行为识别性能得到了很大提升,对智能视频监控、智能交通管理及智慧城市建设等具有重要意义。同时,随着行人智能分析与群体事件感知的需求与日俱增,一系列行为分析与事件识别算法在深度学习技术的推动下应运而生。

图1 行为识别的定义及应用领域
图1 行为识别的定义及应用领域

基于层级化循环神经网络的人体骨架运动序列行为识别

人工智能爆炒中的冷思维,深度学习的地板和天花板在哪里?

作者: 王萌
无论在中国市场还是欧美市场,对人工智能,尤其是深度学习技术的炒作已经到达白热化的巅峰,各路AI创业公司、项目和技术如雨后春笋。一夜之间,工人、司机、医生、律师、法官、新闻记者、股票交易员甚至码农和黑客都被铺天盖地的人工智能审判日阴影所笼罩(人工智能,提前到来的职业杀手),而过于与人工智能毫不沾边的IT电子消费产品,例如路由器、扬声器、手环、手机APP甚至豆浆机等“智能产品”都纷纷贴上了人工智能的新标签。

在各路新老媒体和“专家”的鼓噪下,人工智能似乎成了一把万能的锤子,任何行业、任何职业、任何应用似乎都可以被人工智能取代甚至革新,但是关于人工智能真正的价值和局限性,参与这波炒作的国内媒体和专家们几乎没有人去关心。正如IT经理网专栏作者赵敏在《让AI发光发热莫发烧》一文中引用的北航计算机学院刘连忠教授的话:

“外行鼓噪情有可原,许多科学技术工作者有时也故意混淆视听。AI现在太热了,不过很快会降温,因为AI自己还只能循序渐进的发展着。”

深度学习与机器学习 - 您需要知道的基本差异!

机器学习和深度学习现在很火!突然间每个人都在讨论它们-不管大家明不明白它们的不同!
不管你是否积极紧贴数据分析,你都应该听说过它们。
正好展示给你要关注它们的点,这里是它们关键词的google指数:

深度学习与机器学习 - 您需要知道的基本差异!

如果你一直想知道机器学习和深度学习的不同,那么继续读下去,下文会告诉你一个关于两者的通俗的详细对比。
我会详细介绍它们,然后会对它们进行比较并解释它们的用途。

1.什么是机器学习和深度学习?

让我们从基础开始——什么是机器学习,什么是深度学习。如果你已经知道答案了,那么你可以直接跳到第二章。

1.1 什么是机器学习?

“机器学习”最受广泛引用的定义是来自于Tom Mitchell对它的解释概括:

同步内容
--电子创新网--
粤ICP备12070055号