风一笑 的blog

深度神经网络(DNN)的正则化

和普通的机器学习算法一样,DNN也会遇到过拟合的问题,需要考虑泛化,这里我们就对DNN的正则化方法做一个总结。

1. DNN的L1&L2正则化

想到正则化,我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似,这里重点讲述DNN的L2正则化。

而DNN的L2正则化通常的做法是只针对与线性系数矩阵W,而不针对偏倚系数b。利用我们之前的机器学习的知识,我们很容易可以写出DNN的L2正则化的损失函数。

假如我们的每个样本的损失函数是均方差损失函数,则所有的m个样本的损失函数为:

深度神经网络(DNN)的正则化

则加上了L2正则化后的损失函数是:
深度神经网络(DNN)的正则化

神经网络学习笔记-循环神经网络

本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。

循环神经网络

循环神经网络适用于处理序列化信息,比如:语言翻译,语音识别等。

如果,我们要实现一个翻译功能。首先需要理解原句中每个单词的含义。这就需要根据上下文来理解。假如:原句中的每个单词,以此对应神经网络中一个隐藏层。在传统的神经网络框架中,隐藏层直接传递的是一个矢量Out。这个Out矢量是原句当前每个词的一个输出,比如:含义等等。那么,如何保存和传递上下文这个信息呢?循环神经网络提出一个状态(state)的概念,用于传递上下文。

折叠图

基于深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN

object detection我的理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。object detection要解决的问题就是物体在哪里,是什么这整个流程的问题。然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。

object detection技术的演进:
RCNN->SppNET->Fast-RCNN->Faster-RCNN

从图像识别的任务说起
这里有一个图像任务:
既要把图中的物体识别出来,又要用方框框出它的位置。

基于深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN

上面的任务用专业的说法就是:图像识别+定位
图像识别(classification):
输入:图片
输出:物体的类别
评估方法:准确率

计算机视觉与图像处理、模式识别、机器学习学科之间的关系

在我的理解里,要实现计算机视觉必须有图像处理的帮助,而图像处理倚仗与模式识别的有效运用,而模式识别是人工智能领域的一个重要分支,人工智能与机器学习密不可分。纵观一切关系,发现计算机视觉的应用服务于机器学习。各个环节缺一不可,相辅相成。

计算机视觉(computer vision):用计算机来模拟人的视觉机理获取和处理信息的能力。就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,用电脑处理成为更适合人眼观察或传送给仪器检测的图像。

计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。计算机视觉的挑战是要为计算机和机器人开发具有与人类水平相当的视觉能力。

机器视觉需要图象信号,纹理和颜色建模,几何处理和推理,以及物体建模。一个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。

图像处理(image processing):用计算机对图像进行分析,以达到所需结果的技术。又称影像处理。

神经网络结构在命名实体识别(NER)中的应用

近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结构在NER中也取得了不错的效果。最近,我也阅读学习了一系列使用神经网络结构进行NER的相关论文,在此进行一下总结,和大家一起分享学习。

1 引言

命名实体识别(Named Entity Recognition,NER)就是从一段自然语言文本中找出相关实体,并标注出其位置以及类型,如下图。它是NLP领域中一些复杂任务(例如关系抽取,信息检索等)的基础。

神经网络结构在命名实体识别(NER)中的应用

NER一直是NLP领域中的研究热点,从早期基于词典和规则的方法,到传统机器学习的方法,到近年来基于深度学习的方法,NER研究进展的大概趋势大致如下图所示。

推荐 10 个饱受好评且功能独特的开源人工智能项目

关于人工智能的项目,相信大家都看过或者用过不少了,但它们的大多数看上去都十分“高大上”,让人感觉要掌握他们犹如习屠龙之术一样。事实上,有很多关于人工智能的项目还是十分实用的,而且用途还十分有趣,下面就简单为大家盘点 10 个功能独特的开源人工智能项目。

1. STYLE2PAINTS:强大的为线稿上色的 AI

推荐理由:新一代的强大线稿上色 AI,可根据用户上传的自定义色彩给线稿进行上色。项目提供了在线使用网站,十分方便使用。

推荐 10 个饱受好评且功能独特的开源人工智能项目

2. SerpentAI:基于 Python 的教 AI 打游戏的学习框架

推荐理由:SerpentAI 旨在为机器学习和 AI 研究提供一个有价值的工具。但同时,对于爱好者来说,它也是非常有趣的。

你的深度学习应用可能存在安全风险!

导语:深度学习框架和应用中存在许多漏洞,其中15个漏洞拥有CVE编号。漏洞的类型有堆溢出、数字溢出、Use-After-Free漏洞等。

360安全实验室(肖奇学 、Deyue Zhang)、佐治亚大学(李康)和弗吉尼亚大学(Weilin Xu)的研究者,他们在论文《Security Risks in Deep Learning Implementations》中,对三个主流的深度学习框架的实现中存在的安全威胁进行了检查和分析,分别是Caffe, TensorFlow, and Torch。文中,作者提到软件来说,应用实现的复杂性会导致一些软件漏洞的产生。深度学习框架面临同样的挑战,经过检查,研究人员发现了许多实现的漏洞,其中15个漏洞拥有CVE编号。漏洞的类型有堆溢出、数字溢出、Use-After-Free漏洞等。

深度学习应用程序的分层架构

深度学习框架让开发人员可以快速开发深度学习应用程序。深度学习应用程序采用的是一种三层的分层架构,最底层是框架依赖库,上层是深度学习的框架,最上层为深度学习的应用程序。有了预先实现的神经网络层,深度学习框架允许开发者重点关注应用程序的实现逻辑。

AI医疗2.0时代已到,用深度学习助推人工智能落地

最近市场又被人工智能医疗刷屏了。刷屏的原因就是人工智能继战胜了国际各位围棋棋手之后,又有了一个新的突破,这个突破就是在医疗领域。今年11月,国家医学考试中心发布了“2017年国家执业医师考试临床综合笔试”合格线,由科大讯飞和清华大学联合研发的“智医助理”机器人取得了456分的成绩,大幅超过360分的临床执业医师合格线,标志着人工智能在全球范围内首次通过医考笔试。

这个消息出来的时候,可以说是业界一片震惊,因为机器人来抢医生饭碗的日子终究来了,今天我们就来聊聊连人工智能都已经通过了医师考试,那么AI医疗离我们真正临床应用到底还有多远?

一、全世界第一个通过医师考试的人工智能

事情是这样的,在今年的8月份,在国家卫计委和安徽省卫计委的指导下,科大讯飞和清华联合研发的人工智能机器人在国家医学考试中心参加了2017年临床执业医师综合笔试测试,为了验证这场测试的公正性,有专门的公证处进行了公正。

如果人工智能真的形成自我意识会发生什么?

忘掉如今人工智能领域的小幅进步吧,比如汽车自动驾驶的能力越来越强。等待我们的可能是一项突破性的进展:一种能够感知自身及其周围环境的机器,它可以实时接收和处理大量数据。它可能会被安排执行危险的任务,比如被送进太空或参加战斗。除了开车,它还可以做饭、清洁、洗衣服——甚至当其他人不在身边时,陪伴在我们身旁。

理论上说,一系列十分先进的机器几乎可以取代所有的人类工作。这将使人类免于平凡的苦差事,但也会动摇许多社会基础。没有工作,只有玩乐的生活可能会变成一个反乌托邦(与“乌托邦”相对,指不幸之地,?这种社会表面上充满和平,但内在却充斥着无法控制的各种弊病)。

具备意识的机器也会给法律和道德带来问题。有意识的机器是否在法律意义上可被视为“一个人”,如果它的行为伤害了某人,或者是犯了错,它会承担责任吗?想想一个更可怕的场景:这些机器是否可能会反抗人类,并希望彻底消灭我们?如果答案是肯定的,它们代表了进化的顶点。

作为一名从事机器学习和量子理论的电气工程和计算机科学教授,我可以说,研究人员对于这种超感知机器是否会存在尚有分歧。还有一种争论是关于机器是否可以或者应该被称为“有意识的”,就像我们对人类的看法,甚至是一些动物的意识一样。有些问题与科技有关,而另一些则与意识的本质有关。

为什么大家都不戳破深度学习的本质?!

作者:Pope

人类正在慢慢接近世界的本质——物质只是承载信息模式的载体。人脑之外的器官都只是保障这一使命的给养舰队。

自从 AlphaGo 完虐李世乭,深度学习火了。但似乎没人说得清它的原理,只是把它当作一个黑箱来使。有人说,深度学习就是一个非线性分类器?有人说,深度学习是对人脑的模拟……但我觉得都没有捅透那层窗户纸。

当读完 Jeff Hawkins 的《论智能》,「就是它了!」。而我惊奇地发现,原书竟是 2004 年出版的!我怕自己读了本假书,或是某个美国民科的著作,特意到豆瓣、知乎上查了下,发现几乎每个看过这本书的人都对其理论啧啧称赞。但奇怪的是,似乎没人肯替它站台,这套理论的影响止步于此,好像大家都在刻意掩饰自己看过这本秘笈。它明明已经完整解释了人脑智能的运作机制了啊!注意是 Real Intelligence ,而不仅仅是 Artificial Intelligence !!!

三个洞见

比起绝大多数脑科学论文,作者的洞见简单得多,也深刻得多:

同步内容
--电子创新网--
粤ICP备12070055号