机器学习之模型评估的方法总结
demi 在 周二, 09/11/2018 - 14:21 提交
一、分类模型评估
1、混淆矩阵(confusion matrix)
TP(True Positive) —- 将正类预测为正类数
FN(False Negative) —- 将正类预测为负类数
FP(False Positive) —- 将负类预测为正类数
TN(True Negative) —- 将负类预测为负类数
一、分类模型评估
1、混淆矩阵(confusion matrix)
TP(True Positive) —- 将正类预测为正类数
FN(False Negative) —- 将正类预测为负类数
FP(False Positive) —- 将负类预测为正类数
TN(True Negative) —- 将负类预测为负类数
为什么要使用卷积呢?
在传统的神经网络中,比如多层感知机(MLP),其输入通常是一个特征向量,需要人工设计特征,然后将这些特征计算的值组成特征向量,在过去几十年的经验来看,人工找到的特征并不是怎么好用,有时多了,有时少了,有时选择的特征根本就不起作用(真正起作用的特征在浩瀚的未知里面)。这就是为什么在过去卷积神经网络一直被SVM等完虐的原因。
如果有人说,任何特征都是从图像中提取的,那如果把整副图像作为特征来训练神经网络不就行了,那肯定不会有任何信息丢失!那先不说一幅图像有多少冗余信息,单说着信息量就超级多。。。
假如有一幅1000*1000的图像,如果把整幅图像作为向量,则向量的长度为1000000(10^6)。在假如隐含层神经元的个数和输入一样,也是1000000;那么,输入层到隐含层的参数数据量有10^12,妈呀,什么样的机器能训练这样的网络呢。所以,我们还得降低维数,同时得以整幅图像为输入(人类实在找不到好的特征了)。于是,牛逼的卷积来了。接下来看看卷积都干了些啥。
CNN卷积神经网络层级结构
物联网无处不在,从智能家居到灾难管理运营等。在如此广泛的应用中,物联网安全应该是首要关注的问题。
物联网是一项热门技术,其应用范围从帮助人类做日常琐事到专业军事应用等。凭借其强大功能和能力,物联网安全已经成为人们和企业组织的关注点。在过去十年中,我们对物联网的依赖程度有所增加,然而,物联网的安全性并没有随之增加,黑客可以通过某些方式挑战和威胁我们的身体、经济和情感安全,正如人们说的那样,任何连接到互联网的东西都有可能被黑客攻击。
物联网安全如何岌岌可危?
目前黑客可通过多种方式对物联网进行攻击。过去曾有过很多连网设备由于各种原因被黑客攻击的事件,比较典型的例子是汽车在行驶过程中被黑客入侵,并远程控制了车辆。
由于任何连网软件都可能被黑客攻击,因此,黑客通过车辆娱乐系统远程操纵车辆,把汽车停在高速公路上,并关掉引擎。这让很多驾驶此类汽车的人感到惊慌,为了加剧人们的不安,这些黑客在最后阶段展示了他们如何远程禁用刹车,并操纵方向盘,让汽车朝着黑客操控的方向行驶。
人工智能的浪潮正在席卷全球,诸多词汇时刻萦绕在我们耳边:人工智能(Artificial Intelligence)、机器学习(Machine Learning)、深度学习(Deep Learning)。不少人对这些高频词汇的含义及其背后的关系总是似懂非懂、一知半解,那么他们之间有什么样的联系啦?
人工智能:从概念提出到走向繁荣
1956年,几个计算机科学家相聚在达特茅斯会议,提出了“人工智能”的概念,梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。其后,人工智能就一直萦绕于人们的脑海之中,并在科研实验室中慢慢孵化。之后的几十年,人工智能一直在两极反转,或被称作人类文明耀眼未来的预言,或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前,这两种声音还在同时存在。
2012年以后,得益于数据量的上涨、运算力的提升和机器学习新算法(深度学习)的出现,人工智能开始大爆发。据领英近日发布的《全球AI领域人才报告》显示,截至2017年一季度,基于领英平台的全球AI(人工智能)领域技术人才数量超过190万,仅国内人工智能人才缺口达到500多万。
上一篇文章讲解了犹如小球自动滚动下山的动量法(momentum)这篇文章将介绍一种更加“聪明”的滚动下山的方式。动量法每下降一步都是由前面下降方向的一个累积和当前点的梯度方向组合而成。于是一位大神(Nesterov)就开始思考,既然每一步都要将两个梯度方向(历史梯度、当前梯度)做一个合并再下降,那为什么不先按照历史梯度往前走那么一小步,按照前面一小步位置的“超前梯度”来做梯度合并呢?如此一来,小球就可以先不管三七二十一先往前走一步,在靠前一点的位置看到梯度,然后按照那个位置再来修正这一步的梯度方向。如此一来,有了超前的眼光,小球就会更加”聪明“, 这种方法被命名为Nesterov accelerated gradient 简称 NAG。
自主机器人可以通过识别、复制、学习其他机器人的行为产生偏见,某些种类的算法已经产生性别歧视和种族歧视。
语音交互正在被视为用户在未来很多场景下的主要流量入口之一。因此,寻求可靠有效的远场语音技术突破变成了当下工业界和学术界的迫切需求。一个经典的语音识别系统包含麦克风信号采集模块、信号处理模块以及语音识别模块。每个模块的处理方法都会影响最终的识别效果。
具体来说,目前远场语音识别的技术难点主要集中在以下4个部分:
第一个是多通道同步采集硬件研发;
第二个是前端麦克风阵列信号处理算法研发;
第三个是后端语音识别与前端信号处理的匹配;
第四个是前端和后端联合优化。
首先,多通道麦克风阵列技术已经被证明可以显著提升语音识别质量。当信号采集通道数足够多时,需要额外研发多通道同步技术。并且,目前消费电子上很少有集成多个麦克风的情况,相关研究成果很少,这也增加了该硬件方案的研发难度。
前面介绍的几种滤波器都属于平滑滤波器(低通滤波器),用来平滑图像和抑制噪声的;而锐化空间滤波器恰恰相反,主要用来增强图像的突变信息,图像的细节和边缘信息。平滑滤波器主要是使用邻域的均值(或者中值)来代替模板中心的像素,消弱和邻域间的差别,以达到平滑图像和抑制噪声的目的;相反,锐化滤波器则使用邻域的微分作为算子,增大邻域间像素的差值,使图像的突变部分变的更加明显。
本位主要介绍了一下几点内容:
• 图像的一阶微分和二阶微分的性质
• 几种常见的一阶微分算子
• 二阶微分算子 - Laplace 拉普拉斯算子
• 一阶微分算子和二阶微分算子得到边缘的对比
一阶微分和二阶微分的性质
既然是基于一阶微分和二阶微分的锐化空间滤波器,那么首先就要了解下一阶和二阶微分的性质。
作者:郭喨 唐兴华
来源:中国社会科学网-中国社会科学报
无人驾驶车辆真要跑起来,需要解决感知、决策和执行等层面的技术问题。感知系统也称为“中层控制系统”,负责感知周围的环境,并进行识别和分析;决策系统也称为“上层控制系统”,负责路径规划和导航;执行系统又称为“底层控制系统”,负责汽车的加速、刹车和转向。本文以“感知—决策—执行”的顺序呈现,是因为这样更加符合人类的驾驶模式。如,先看看前面——绿灯、周围无行人——收集信息;然后做出决策——可以通行;最后执行决策——开过十字路口。
自动驾驶的感知系统
感知系统的输入设备具体包括光学摄像头、光学雷达(LiDAR)、微波雷达、导航系统等。这些传感器收集周围的信息,为感知系统提供全面的环境数据。
光学摄像头是目前最便宜也是最常用的车载传感器,它的一大优点就是可以分辨颜色,因此也成为场景解读的绝佳工具。但其缺点也很明显:
1.缺乏“深度”这一维度,没有立体视觉就无法判断物体和相机(可以换算为车辆)间的距离;
2.对光线过于敏感,过暗或过强的光线以及二者之间的快速切变,比如驶入和驶出隧道都足以影响它的成像。
在现今的推荐技术和算法中,最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题.
1、什么是推荐算法
推荐算法最早在1992年就提出来了,但是火起来实际上是最近这些年的事情,因为互联网的爆发,有了更大的数据量可以供我们使用,推荐算法才有了很大的用武之地。
最开始,所以我们在网上找资料,都是进yahoo,然后分门别类的点进去,找到你想要的东西,这是一个人工过程,到后来,我们用google,直接搜索自己需要的内容,这些都可以比较精准的找到你想要的东西,但是,如果我自己都不知道自己要找什么肿么办?最典型的例子就是,如果我打开豆瓣找电影,或者我去买说,我实际上不知道我想要买什么或者看什么,这时候推荐系统就可以派上用场了。
2、推荐算法的条件