神经网络

神经网络和深度学习之神经元和分类器

当今社会,计算机在我们的生活和工作中扮演着重要的角色,人类使用计算机帮助他们进行大量的计算,通过计算机让每个人相互通信等等。但时代的进步让我们对计算机的要求越来越高,人类希望它能够从事越来越复杂的工作。

神经网络作为一种关键的颠覆性技术,在不同的市场和细分市场中有着广泛的应用。在移动端神经网络技术通过照片的数字化处理、分类管理、语音识别和综合等方面能够大大提升用户的产品体验感。但是在移动端设备的SoC中实现神经网络算法却面临着巨大的挑战,因为密集的计算会带来功耗的提升、存储带宽和芯片面子的增加。

本次网络研讨会将和大家讨论目前移动端神经网络的市场情况,包括涉及的应用产品和发展趋势,然后集中探讨要实现一个可部署高效的移动端神经网络解决方案所面临的挑战和技术要求,以及这些问题如何通过创新的硬件加速技术来解决。

详阅请点击下载《在移动设备中高效地实现神经网络[网络研讨会幻灯片]》或前往Imagination官网观看现场视频会

技术文章:为什么说PowerVR 2NX NNA是神经网络加速器的未来?

麻省理工科技评论公布2018年“全球十大突破性技术”

《麻省理工科技评论》刊文,列出了2018年的10大科技突破。今年入选的技术包括人工智能技术“生成对抗网络”(GAN)、人工胚胎,以及基于天然气的清洁能源技术等。以下为完整榜单:

1.3D金属打印

麻省理工科技评论公布2018年“全球十大突破性技术”

3D打印的发展已有几十年时间。但到目前为止,3D打印仍主要用于制造一次性的原型产品。如果希望使用除塑料以外的其他材料,例如金属去打印,不仅成本高昂,且速度很慢。

不过目前,3D金属打印的成本正越来越低,并逐渐成为一种制造实际零件的方法。如果得到广泛普及,那么将改变大批量产品生产的方式。

从短期来看,制造商将不再需要维护大量库存。对于汽车零配件这样的商品,在有需要的时候直接打印即可。

从长期来看,大批量生产少数几种零配件的大型工厂可能会被规模较小、更能适应客户需求变化的工厂所取代。

简单理解LSTM神经网络

递归神经网络

在传统神经网络中,模型不会关注上一时刻的处理会有什么信息可以用于下一时刻,每一次都只会关注当前时刻的处理。举个例子来说,我们想对一部影片中每一刻出现的事件进行分类,如果我们知道电影前面的事件信息,那么对当前时刻事件的分类就会非常容易。实际上,传统神经网络没有记忆功能,所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息,那么有什么方法可以让神经网络能够记住这些信息呢?答案就是Recurrent Neural Networks(RNNs)递归神经网络。

递归神经网络的结果与传统神经网络有一些不同,它带有一个指向自身的环,用来表示它可以传递当前时刻处理的信息给下一时刻使用,结构如下:

简单理解LSTM神经网络

其中,Xt为输入,A为模型处理部分,ht为输出。

为了更容易地说明递归神经网络,我们把上图展开,得到:

边缘运算盼来专用晶片神经网络加速器进驻行动终端

作者:Benny Har-Even

毫无疑问,神经网络变得越来越流行,在各式各样的产品中都可以找到它的相关应用。它们会根据你的兴趣自动调整社交多媒体内容、让照片显示更加好看、在AR/VR头戴设备中增强检测和眼球追踪功能。

在智慧监控领域,它可以应用于安全保障、提供增强的面部识别功能、群体行为分析等。在网上支付系统中,它对于诈骗行为的检测也比人类更加强大。神经网络也将应用到无人驾驶汽车系统中,借以避免碰撞事故的发生,实现无人机运送包裹,此外最近比较受大家关注的就是以脸部辨识来解锁手机了。

神经网络专用硬体需求高

为了能够实现如此众多的功能,神经网络首先需要经过训练,这通常需要强大的伺服器硬体提供支援。物体识别的实现其实就是不断地进行推断和对比,而且需要即时的方式来完成。当然神经网络越大,需要的运算量就越大,也需要更高水准的性能支援,尤其在行动应用方面。尽管神经网络推断引擎可以在CPU上运行,但是它们通常采用GPU,利用其强大的平行运算特性,以求更快处理神经网络运算。然而为了在严格的功耗下满足下一代性能要求,专用的神经网络加速硬体则是必需的。

神经网络学习笔记-循环神经网络

本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。

循环神经网络

循环神经网络适用于处理序列化信息,比如:语言翻译,语音识别等。

如果,我们要实现一个翻译功能。首先需要理解原句中每个单词的含义。这就需要根据上下文来理解。假如:原句中的每个单词,以此对应神经网络中一个隐藏层。在传统的神经网络框架中,隐藏层直接传递的是一个矢量Out。这个Out矢量是原句当前每个词的一个输出,比如:含义等等。那么,如何保存和传递上下文这个信息呢?循环神经网络提出一个状态(state)的概念,用于传递上下文。

折叠图

[神经网络学习笔记]激活函数的作用、定义和微分证明

激活函数被用到了什么地方?

目前为止,我见到使用激活函数的地方有两个。

• 逻辑回归(Logistic Regression)
• 神经网络(Neural Network)

这两处,激活函数都用于计算一个线性函数的结果。

了解激活函数

激活函数的作用:就是将权值结果转化成分类结果。

2类的线性分类器

先说一个简单的情况 - 一个2类的线性分类器。
了解激活函数,先要明确我们的问题是:"计算一个(矢量)数据的标签(分类)"。
以下图为例:

[神经网络学习笔记]激活函数的作用、定义和微分证明

基于神经网络的实体识别和关系抽取联合学习

联合学习(Joint Learning)一词并不是一个最近才出现的术语,在自然语言处理领域,很早就有研究者使用基于传统机器学习的联合模型(Joint Model)来对一些有着密切联系的自然语言处理任务进行联合学习。例如实体识别和实体标准化联合学习,分词和词性标注联合学习等等。最近,研究者们在基于神经网络方法上进行实体识别和关系抽取联合学习,我阅读了一些相关工作,在此和大家一起分享学习。(本文中引用了一些论文作者Suncong Zheng的PPT报告)

1、引言

本文关注的任务是从无结构的文本中抽取实体以及实体之间的关系(实体1-关系-实体2,三元组),这里的关系是我们预定义好的关系类型。例如下图,

基于神经网络的实体识别和关系抽取联合学习

Imagination 发布神经网络软件开发套件 (SDK)

PowerVR CLDNN API可使开发人员轻松地在GPU上建立 CNN (卷积神经网络)

今日,Imagination Technologies宣布推出首套 PowerVR CLDNN开发工具 (SDK),可用来在PowerVR GPU 上开发神经网络应用程序。这一神经网络 SDK 可使开发人员轻松地利用 PowerVR 硬件打造卷积神经网络 (CNN)。套件中包含了 API 和 SDK,以及可用来刻录到 Acer Chromebook R-13 上的映像文件 (image),以供硬件开发之用。

Imagination 已于 2017 年 9 月推出首款神经网络加速器 PowerVR Series2NX。API 和 SDK 程序库的未来版本可协助开发人员针对我们的 GPU 与 NNA 硬件开发神经网络应用程序,无需重新撰写程序代码。

神经网络结构在命名实体识别(NER)中的应用

近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结构在NER中也取得了不错的效果。最近,我也阅读学习了一系列使用神经网络结构进行NER的相关论文,在此进行一下总结,和大家一起分享学习。

1 引言

命名实体识别(Named Entity Recognition,NER)就是从一段自然语言文本中找出相关实体,并标注出其位置以及类型,如下图。它是NLP领域中一些复杂任务(例如关系抽取,信息检索等)的基础。

神经网络结构在命名实体识别(NER)中的应用

NER一直是NLP领域中的研究热点,从早期基于词典和规则的方法,到传统机器学习的方法,到近年来基于深度学习的方法,NER研究进展的大概趋势大致如下图所示。

同步内容
--电子创新网--
粤ICP备12070055号