demi的博客

机器学习之分类器性能指标之ROC曲线、AUC值

一、roc曲线

1、roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。

横轴:负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例;(1-Specificity)

纵轴:真正类率(true postive rate TPR)灵敏度,Sensitivity(正类覆盖率)

2、针对一个二分类问题,将实例分成正类(postive)或者负类(negative)。但是实际中分类时,会出现四种情况.

(1)若一个实例是正类并且被预测为正类,即为真正类(True Postive TP)

(2)若一个实例是正类,但是被预测成为负类,即为假负类(False Negative FN)

(3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)

(4)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)

TP:正确的肯定数目

FN:漏报,没有找到正确匹配的数目

基于深度学习的智能网格错误数据注入攻击动态检测

一、介绍

在电力需求增长的环境下,未来智能电网的设计要运行更加可靠、经济和高效。然而,要实现这一目标,需要通过与数据通信的巨大增长相结合,然而,数据通信为各种网络攻击提供了大把的机会。因此,确保智能电网的网络安全是重中之重。虽然发布了大量的对抗措施,如通信标准(如IEC 61850-90-5 [1])、法律法规(如Colorado法规(CCR) 723-3)、加密实现(如,安全通道[7]),以及官方指南(如NISTIR 7628指南[8]),目前智能电网仍然容易受到网络攻击。

为了防止网络攻击,传统电网依赖于传统安全方案(如,防火墙和一般入侵检测系统)。入侵检测系统(IDS)能够通过持续的监视网络流量或系统日志对潜在入侵进行警报。虽然在网络安全社区有一些关于IDS的研究,但是在智能电网方面所作的努力是有限的。同时,在电力网络中针对数据可用性和完整性的攻击风险是真实存在的。Liu等人[16]提出了一个值得关注的问题,即一种叫作虚假数据注入(FDI)的攻击类型,该攻击类型针对的是国家电网系统中的状态估计。在这种攻击中,攻击者的目标是绕过现有不良数据检测系统,并通过故意改变电力系统的估计状态对电力系统运行造成损害。因此,迫切需要一个有效的智能电网专用入侵检测系统。

什么是深度学习的卷积?

近年来,随着一些强大、通用的深度学习框架相继出现,把卷积层添加进深度学习模型也成了可能。这个过程很简单,只需一行代码就能实现。但是,你真的理解“卷积”是什么吗?当初学者第一次接触这个词时,看到堆叠在一起的卷积、核、通道等术语,他们往往会感到困惑。作为一个概念,“卷积”这个词本身就是复杂、多层次的。

什么是深度学习的卷积?

在这篇文章中,我们将分解卷积操作的机制,逐步将其与标准神经网络联系起来,探索它们是如何建立起强大的视觉层次结构,并最终成为强大的图像特征提取器的。

2D卷积:操作

2D卷积是一个相当简单的操作:我们先从一个小小的权重矩阵,也就是卷积核(kernel)开始,让它逐步在二维输入数据上“扫描”。卷积核“滑动”的同时,计算权重矩阵和扫描所得的数据矩阵的乘积,然后把结果汇总成一个输出像素。

戳穿边缘计算的三大误区

每天数百万的机器和设备首次连接到互联网,公司企业在通过边缘计算改变我们看待云基础设施的方式,以此挑战传统架构。事实上,Gartner预计40%以上的企业IT部门将采用边缘计算策略,比去年增加1%。

当下,边缘计算继续是业界讨论的热门话题,因为更多的传感器、移动设备和功能强大的应用程序将数据推向我们网络的边缘。更多的公司继续将计算资源放在网络边缘,尽量靠近生成数据和洞察力的设备。

随着企业组织开始关注边缘计算,各种误解正在给它们的潜在迁移蒙上阴影。

下面是与边缘计算资源相关的三个误区。

第一个误区:边缘计算是资源密集型的

尽管边缘计算需要典型数据中心外面的本地资源,但所需的资源极少。边缘处的标准或甚至小型数据中心并非连接和处理网络边缘的数据所必不可少的。

边缘计算在网络边缘处理数据,信息在边缘处生成,边缘处的远程主数据中心或云具有有限的功能。通过将计算源放在收集数据的源端的旁边,我们可以显著提升应对网络安全泄密等事件的能力,或者充分利用市场和消费者行为方面的实时变化。

未来人工智能发展的五大趋势,你能接住几个?

人工智能技术在科技企业不断地深度学习和技术创新等方面的推动之下,也在不断地取得突破。金融、交通、医疗、教育、农业、制造业等场景的应用需求和切合确定场景的商业模式出现推动人工智能技术的快速发展。随着人工智能在移动互联网、智能家居等领域的发展,我国的人工智能产业也将持续性、高速地成长。预计到2022年,我国人工智能行业的市场规模将达到680亿元。

未来国内人工智能行业发展的五大趋势:

一、机器学习与场景应用将迎来下一轮爆发

根据VentureScanner的统计,截至2018年6月,全球人工智能领域获得投资的公司中,按照平均融资额度排名的五大业务依次是:机器学习(应用类)、智能机器人、计算机视觉(研发类)、机器学习(研发类)和视频内容识别等。

目前中国地区人工智能领域获得投资最多的五大细分领域是计算机视觉(研发类)、自然语言处理、私人虚拟助理、智能机器人和语音识别。从投资领域和趋势来看,未来国内人工智能行业的资本将主要涌向机器学习与场景应用两大方向。

深度学习并非万能:你需要避免这三个坑

【导读】本文是人工智能专家George Seif撰写的博文,介绍了在当前深度学习比较火热的情景下需要避免的三个坑。

作者 | George Seif
编译 | 专知
整理 | Mandy, Sanglei

深度学习在过去几年一直是人工智能领域最热门的话题。事实上,正是它激发了科学家、政府、大公司以及其他所有人对人工智能的极大新兴趣!这是一门很酷的科学,具有潜在的巨大的实用性和积极的应用。它正被用于金融、工程、娱乐、消费产品和服务等领域。

但是,所有应用都需要使用到深度学习吗?当我们开展一个新的项目时,我们需要不自觉地一开始就使用深度学习吗?

在有些情况下,使用深度学习是不合适的,我们需要选择一些别的方案。让我们来探讨一下这些情况吧。

(1)深度学习不适用于小数据集

为了获得高性能,深度网络需要非常大的数据集。标注的数据越多,模型的性能就越好。获得标注良好的数据既昂贵又耗时。雇佣人工手动收集图片并标记它们根本没有效率可言。在深度学习时代,数据无疑是最有价值的资源。

卷积神经网络的直观解释(笔记)

卷积神经网络( ConvNets或者CNNs)是神经网络的范畴。

应用领域:图像识别、语音识别、自然语言处理(如语句分类)。可以识别人脸、物体和交通信号,从而为机器人和自动驾驶汽车提供视力。也可以识别场景,提供相关的标签。

LeNets架构(1990s)

LeNets是最早的卷积神经网络。
经过多次成功迭代,1998年,Yann LeCun 把这项工作命名为LeNets5。该架构主要用于字符识别,如邮编,数字等。

卷积神经网络如下图所示:

卷积神经网络的直观解释(笔记)

主要有四个操作:
1. 卷积
2. 非线性处理(ReLU)
3. 池化或亚采样
4. 分类(全连接层)

机器学习综述——机器学习理论基础与发展脉络

本文主要参考中科院自动化研究所复杂系统与智能科学实验室王珏研究员《关于机器学习的讨论》,讨论机器学习的描述,理论基础,发展历史以及研究现状。

20世纪90年代初,当时的美国副总统提出了一个重要的计划——国家信息基本设施计划(NationalInformation Infrastructure,NII)。这个计划的技术含义包含了四个方面的内容:

(1)不分时间与地域,可以方便地获得信息。
(2)不分时间与地域,可以有效地利用信息。
(3)不分时间与地域,可以有效地利用软硬件资源。
(4)保证信息安全。

本文主要讨论解决“信息有效利用”问题,其本质是:如何根据用户的特定需求从海量数据中建立模型或发现有用的知识。对计算机科学来说,这就是机器学习。