人工智能

七招教你处理非平衡数据——避免得到一个“假”模型

这篇博客主要介绍处理不平衡数据的技巧,那么什么是不平衡数据呢?比如说一位医生做了一个病例对照研究,数据集由病例10人和对照990人组成,建立好一个逻辑回归模型后,并对建立的模型进行内部验证,居然发现其正确率高达99%,然后把他兴奋坏了,觉得可以将该成果发表到顶级期刊上,从此走上人生巅峰。然而,我们可以发现,该模型不管怎么预测,都能得到正常的结果,所谓的99%的正确率,原来是建立在1000个人中10个病例都发现不了的基础上。从这个例子可以看出,当遇到不平衡数据时,以总体分类准确率为学习目标的传统分类算法会过多地关注多数类,从而使得少数类样本的分类性能下降。

介绍

不平衡数据广泛存在于各个领域,但在二分类问题中尤其常见,表现为其中的一个类别所占的比例远远高于另外的一个类。比如:银行欺诈检测、市场营销、网络入侵检测等领域。

这些领域中的数据集有哪些共同点呢?可以发现在这些领域中使用的数据通常不到1%,但一旦发生就是一件“有趣”的事件(例如使用信用卡的欺诈者的违规交易,用户点击广告或原本已损坏的服务器在扫描其网络)。然而,大多数机器学习算法对于不平衡数据集都不能很好地工作。

以下七种技术可以帮助我们训练分类器来检测异常类。

深度学习再现发展拐点,四大问题预示其已近终点?

深度学习的历史可以追溯到几十年前,但直到大约5年前才得到了较多的关注。其中2012年是关键的一年,几乎很多东西都发生了改变,包括大神大神Krizhevsky、Sutskever以及Hinton三人基于ImageNet做的识别图像的深度卷积神经网AlexNet的发布。而随着深度学习的发展,它曾一度占据了各大媒体的头版头条,还迅速成为了人工智能领域有名的技术术语。

如今,不管是在语音识别、图像识别,还是语言翻译等领域,深度学习的研究已经取得了很多最先进的结果,并在当前大量的人工智能应用程序中发挥作用。为了抓住这一发展机会,许多企业也开始投入大量资金,进行深度学习人才的培养。然而,遗憾的是,再好的发展也会进入瓶颈期,深度学习也是一样。在未来的发展中,深度学习不太可能会消失,也不应该消失,但在该技术复苏后的5年里,现在似乎到了对其进行批判性反思的好时机。

深度学习和相关的机器学习的进步,在人工智能最近所取得的成就中发挥了关键作用,二者使得计算机不再需要明确的编程,而是通过“吸收和分析”大量数据就能完成自我训练。在过去的两年里,谷歌以深度学习为基础的AlphaGo击败了世界顶级的围棋玩家,震惊了大多数人工智能专家,因为在他们的认知力,这一里程碑的实现至少还需要5到10年的时间。

2018 AIIA人工智能开发者大会将于2018年10月15日到16日在苏州国际博览中心举办。本次大会是由国家发展和改革委员会高技术司、工业和信息化部科技司、国家互联网信息办公室网络数据与技术局指导,中国人工智能产业发展联盟(AIIA)主办,中国人工智能媒体官网等协办,汇集多位学术界专家和企业界高管,精准面向人工智能开发者举办的专业峰会。

大会将邀请国内外人工智能产业中的知名专家、政府主管部门负责人、行业内顶尖企业管理者、知名学者、工程师、开源社区优秀贡献团队及个人,交流技术现状趋势、分享生态建设经验、探讨开源社区运营等,内容覆盖了人工智能开发者关心的各个方面,为各个阶段各种水平的开发者提供从技术讨论、实战训练到产业应用的全方位交流学习平台。

Imagination作为AIIA联盟理事会员单位之一,受邀在10月16日的计算架构和芯片组分论坛上做主题演讲,届时来自英国总部的技术专家Paul将为大家带来题为“视觉DNN IP应用与算法开发”的技术分享!

演讲题目:视觉DNN IP应用与算法开发

演讲人:Paul Brasnett

人工智能是一种好的网络安全工具,也是一把双刃剑

AI在安全方面的角色对白帽黑客和网络罪犯都很有吸引力,但目前似乎还没有找到双方的平衡。

人工智能已经成为网络安全开发者的新宝藏,这要归功于它的潜力,它不仅可以在很大的规模上实现功能自动化,还可以根据它在一段时间内学到的东西来做出相应的决策。这可能会对安全维护人员产生重大影响——通常情况下,公司根本没有足够的资源在众多恶意软件中“大海捞针”。

例如,如果一名工作人员通常在纽约工作,突然有一天早上从匹兹堡登录,这是一种反常现象——人工智能可以看出这是一种反常现象,因为它已经学会了期望用户从纽约登录。类似地,如果该用户在匹兹堡登录后,在几分钟后又在另一个地方登录,比如加州,那么这很可能是一个恶意的危险信号。

因此,在最简单的层面上,人工智能和“机器学习”围绕的是对行为规范的理解。系统需要一些时间来观察环境,以了解什么是正常的行为,并建立一个基准线——这样它就可以通过将算法知识应用到数据集来获取偏离规范的偏差。

针对网络安全的AI可以以多种方式帮助防御者。然而,人工智能的出现也有不利的方面。首先,网络犯罪分子也利用了这项技术,很明显,它可以被用于各种恶意的任务。比如对开放的、易受攻击的端口进行的扫描,或者是电子邮件的自动组合,这些邮件具有公司首席执行官的准确语气和声音,被24小时窃听。

从人工智能到机器学习

一、机器学习的背景

大家都说人工智能是综合的学科,而机器学习就是人工智能的大脑。它通过对数据的处理,不断地变得更好和更强,做出各种各样的判断和决策。

人工智能、机器学习、深度学习,这三者是什么关系?

我们可以参照下面这张图:

从人工智能到机器学习

机器学习是实现人工智能的一种方法,机器学习有很多的细分领域,其中有一个领域是人工神经网络,而深度学习是人工神经网络这个领域的一个分支。

二、什么是机器学习呢?

做机器学习,大部分工作其实是编程。通俗地讲:机器学习是一种计算机程序,可以从现有的经验中学习如何完成某项任务,并且随着经验的增加,性能也随之提升。

三、机器学习有哪些分类?

人工智能的利与弊

技术是人类发展和成长的重要组成部分。人工智能( AI )就是这样一种技术,它正在大肆炒作。 随着技术成为我们日常生活的一部分,人工智能已成为辩论和讨论的主题,科技专家认为这是一种福音,对某些人来说,这是一场灾难。尽管如此,我们仍然不确定人工智能的未来——人工智能是威胁还是福音?

花几分钟时间分析一下,看看你对人工智能(AI)应用的依赖程度如何?

我们肯定你听说过苹果的虚拟助理Siri,你还经常使用谷歌的语音搜索功能吗,好用吗?这两个应用程序都使用了人工智能技术,可以让我们的生活更轻松。无论是拨打电话还是设置提醒,AI都在为更高效的生活铺平道路。

让我们深入研究一下,看看人工智能的好处和风险。

人工智能的优点如下:

减少出错机会

由于机器所做的决策是基于先前的数据记录和算法组合,因此出现错误的机会减少了。这是一项成就,因为解决了需要进行计算困难的复杂问题,可以在没有任何误差范围的情况下完成。

你听说过智能助理吗?高级商业企业使用智能助理与用户互动,这有助于节省时间、有助于企业满足用户需求而无需等待。它们被编程为用户提供尽可能最好的帮助。

9月17日-19日,2018世界人工智能大会在上海隆重举行,全球人工智能领域最具影响力的科学家、企业家和相关领域政府领导齐聚一堂,分享政策、学术、科研、产业、应用方面的最新动向。会议期间还集中展示了多家企业和机构的新理念、新技术、新产品、新应用,令与会者充分领略到人工智能的无限魅力。

Imagination作为一家在人工智能领域拥有多年技术积淀和优质产品及解决方案的公司,积极参与本次大会,在西岸艺术中心B馆AI芯片展区展示了业界领先的PowerVR GPU图形处理和PowerVR 2NX NNA专用神经网络加速技术。

9月19日下午,Imagination高级技术方案经理郑凯先生在2018世界人工智能大会·全球异构计算高峰论坛上发表题为“端侧智能:运用GPU+NNA实现设备端异构计算”的主题演讲,充分介绍了公司的PowerVR视觉和人工智能产品组合及其对异构计算的支持。

聚焦智能趋势,AIIA人工智能开发者大会十月盛大开幕!

“AIIA人工智能开发者大会”及系列论坛,将于2018年10月15日(星期一)到16日(星期二),在江苏省苏州国际博览中心G馆(江苏省苏州市吴中区苏州工业园区苏州大道东688号)举行。

会议将邀请国内外人工智能产业知名人物、国家政府主管部门、行业内顶尖企业、知名学者代表、开源社区优秀贡献团队及个人,交流技术现状趋势、分享生态建设经验、探讨开源社区运营。开发者是人工智能技术落地应用的核心,会议拟覆盖人工智能开发者关心的各个方面,为各个阶段各种水平的开发者提供从技术讨论、实战训练到投融资的全方位交流学习平台。

本次会议将有12场分论坛,2场高规格公开课同期举办。2018年AIIA杯人工智能巡回赛收官及2019年新一届大赛启动也将在会上展现。

Imagination作为AIIA联盟理事会员单位之一,受邀在10月16日计算架构和芯片组分论坛做技术分享,来自Imagination英国总部的PowerVR视觉与AI部门高级经理Paul Brasnett先生将为大家带来题为“视觉DNN IP 应用与算法开发”的技术分享,您将了解到如何将传统计算机视觉算法匹配到专用DNN IP的方法,这些方法会为大家提供低成本的解决方案,能够同时支持传统的和基于DNN的机器视觉算法。

AI芯片系列课第二季启动啦~

系统讲解AI芯片架构如何创新

深度剖析终端侧应用落地难点

帮你看懂AI芯片的发展前景

背景介绍

随着数据量的激增,人工智能算法日趋成熟,神经网络的规模越来越大,对计算力的要求也越来越高,传统芯片架构很难灵活适应不同的神经网络算法。因此基于GPU、FPGA、ASIC的各种AI芯片如雨后春笋般冒出来,AI芯片也成了最热门的投资领域,但竞争也异常激烈。

AI芯片从应用领域来分,主要分为云端数据中心和消费终端,而从功能来分主要分为云端训练(Training)和终端推理(Inference)。Imagination作为终端的重要玩家之一,在AI领域深耕多年,于去年9月份推出了基于全新架构的PowerVR 2NX NNA专用神经网络加速器,其灵活的位宽可基于每一层去支持权重和数据,这意味着 PowerVR Series2NX 可以保持高推理精度,同时降低带宽/功耗要求。它是唯一支持 16 位到 4位位宽的解决方案,可在较低的带宽和功耗下实现更高的性能。此架构旨在为移动和嵌入式平台中的高效神经网络推理提供硬件加速,可以使“智能”从云端转移至边缘设备,从而实现更高的效率和实时响应。

机器好奇心有助于人工智能的发展

会学习的软件正在改变世界,但需要监督。人类以两种方式监督它们。一是向机器学习算法展示描述当下任务的大量数据。例如有标记的猫和狗的图片,让算法学习区分两者。另一种监督是在高度结构化的环境中设定一个特定目标,例如在某款电子游戏中获得高分,再让算法尝试众多可能性,直到找到能实现目标的那一个。

这两种「监督学习」的方法已经在人工智能(AI)领域带来了突破。2012 年,多伦多大学的一组研究人员用第一种方法构建了 AlexNet,这个软件在一项竞赛中识别出的图像比其最接近的竞争对手多了十分之一。2015 年,Alphabet 旗下的英国人工智能公司 DeepMind 的研究人员用第二种方法教一个算法玩电子游戏雅达利( Atari),水平超过人类。后来在围棋上取得的胜利正源自这一成果。

机器好奇心有助于人工智能的发展

同步内容
--电子创新网--
粤ICP备12070055号