demi的博客

深度学习和符号智能的结合将是下一代自然语言理解的新范式，也是解决自然语言理解这个困难任务的唯一路径。

1. 通往语言理解之路

什么是理解

自然语言理解是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间，都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻，它一方面承载着机器和人的交流，另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯，机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA（Ask Me Anything）栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

那么究竟什么是自然语言理解呢？我们可以认为，理解是从自然语言到语义的映射，但是这个定义只是把问题转移到了「语义」的定义上，而关于语义，一直缺乏在形式和功能上都普遍适用的定义。事实上，语义往往需要被放在特定领域和特定语境下去考量，比如一句「你开心就好」，可以在不同的场景下传达鄙视和祝愿等多种意思。关于理解或者语义，我们不得不采取了下面两种耍赖式的定义来刻画它们的不同侧面：

背景

美团每天有百万级的图片产生量，运营人员负责相关图片的内容审核，对涉及法律风险及不符合平台规定的图片进行删除操作。由于图片数量巨大，人工审核耗时耗力且审核能力有限。另外对于不同审核人员来讲，审核标准难以统一且实时变化。所以有必要借助机器实现智能审核。

图像智能审核一般是指利用图像处理与机器学习相关技术识别图像内容，进而甄别图像是否违规。图像智能审核旨在建立图片自动审核服务，由机器自动禁止不符合规定（负例）的图片类型，自动通过符合规定（正例）的图片类型，机器不确定的图片交由人工审核。因此，衡量智能审核系统性能的指标主要是准确率和自动化率。

常用的图像处理算法：数字图像处理基础、遥感数字图像处理、机器视觉、计算机视觉

图像处理程序：C++ OpenCV、Matlab与图像处理

数字图像处理-概述

其实，造成“不可能图形”（三角形的三个角都是90°）的并不是图形本身，而是你对图形的三维知觉系统，这一系列在你知觉图形的立体心理模型时强制作用。在把二维平面图形知觉为你三维立体心理图形时，执行这一过程的机制会极大地影响你的视觉系统。

正是在这一强制执行的机制的影响下，你的视觉系统对图形中的每一个点都赋予了深度。换句话说，一幅图像的某些二维结构元素和你三维知觉解释系统的某些结构元素相对应。二维直线被解释成三维直线。二维的平面被解释为三维的平面。在透视图像中，锐角和钝角都被解释为90°角。外面的线段被看作是外形轮廓的分界线。这一外形分界线在你定义整个心理图像的外形轮廓时起着及其重要的作用。这说明，在没有相反信息的影响下，你的视觉系统总是假定你从一个主要视角观看事物。

三角形的每一个顶角都产生透视，三个90°的角，而且，每条边的距离变化不同。把三个顶角合成一个整体，就产生了一个空间不可能图形。

相对性：环境对比的影响

经过前几年的火爆，工业界和资本都开始对机器人持比较理性的态度，不再“野蛮生长”。这样的氛围也许会更有利于企业潜心钻研，打造真正符合客户需求的产品和技术。

趋势一：物流机器人运作过程日趋柔性化

这里的“柔性”，是和生产制造过程相对而言的。在生产线上，因制造工艺不能轻易更改，所以工业机器人的动作比较固定、重复性较高。但是在物流领域，从A点到B点的移动则可能有许多种路径,不确定性较大。

并且，在走完A点到B点路径的过程中，还可能遇到障碍物：一方面可能有其它机器人在移动，另一方面可能有人员走动等意外情况。这种多变的“柔性”流程对机器人提出了更高的要求。

趋势二：机器人与周边环境的交互日益增加

新一代机器人不仅能够在平面上移动，并且还能识别环境中的更多元素并与之互动。一个很典型的例子就是机器人乘电梯，如图2所示：某酒店中的服务机器人可以通过发射无线信号与电梯互动，进入其内部并选择正确楼层，从而将物品送到指定的楼层房间。笔者观察到：“乘电梯”的功能已经成为越来越多机器人品牌的标配。

IPv6对物联网节点移动性的支持。根据物联网的定义可知，物联网所要实现的物与物之间的通信基本上是基于无线传感技术的，也就是说物联网相对于传统的互联网对移动通信性能有了更高的要求，可以说物联网是一个瞬息万变的网络。而事实上，将来主宰物联网世界的必定是如今的移动通信服务供应商。

目前互联网的移动性不足造成了物联网移动能力的瓶颈。IPv4协议在设计之初并没有充分考虑到节点移动性带来的路由问题。即当一个节点离开了它原有的网络，如何再保证这个节点访问可达性的问题。由于IP网络路由的聚合特性，在网络路由器中路由条目都是按子网来进行汇聚的。

当节点离开原有网络，其原来的IP地址离开了该子网，而节点移动到目的子网后，网络路由器设备的路由表中并没有该节点的路由信息(为了不破坏全网路由的汇聚，也不允许目的子网中存在移动节点的路由)，会导致外部节点无法找到移动后的节点。因此如何支持节点的移动能力是需要通过特殊机制实现的。在IPv4中Internet工程任务组提出了MIPv4(移动IP)的机制来支持节点的移动。但这样的机制引入了著名的三角路由问题。对于少量节点的移动，该问题引起的网络资源损耗较小。而对于大量节点的移动，特别是物联网中特有的节点群移动和层移动，会导致网络资源被迅速耗尽，使网络处于瘫痪的状态。

在工业自动化领域，机器需要传感器提供必要的信息，以正确执行相关的操作。机器人已经开始应用大量的传感器以提高适应能力。例如有很多的协作机器人集成了力矩传感器和摄像机，以确保在操作中拥有更好的视角，同时保证工作区域的安全等。在此枚举一些常用的可以集成到机器人单元里的各种传感器，供诸君参考。

二维视觉传感器

二维视觉基本上就是一个可以执行多种任务的摄像头。从检测运动物体到传输带上的零件定位等等。二维视觉在市场上已经出现了很长一段时间，并且占据了一定的份额。许多智能相机都可以检测零件并协助机器人确定零件的位置，机器人就可以根据接收到的信息适当调整其动作。

三维视觉传感器

分享17张机器学习高清思维导图：描述性统计：表格和图形法 、描述性统计：数值方法、概率、概率分布、抽样分布、区间估计、假设检验、两总体均值之差和比例之差的推断、总体方差的统计推断、多个比率的比较&独立性检验&拟合优度检验、实验设计&方差分析、简单线性回归、残差分析、多元回归、回归分析、时间序列及预测、非参数方法...

导图概览（点击图片查看缩放大图）

描述性统计：表格和图形法

人类智能在宏观上有心理学，微观上有分子生物学等学科研究。但每个方向研究到一定阶段就停滞了，没有哪个学科能告诉我们：为什么能有智能，如何才能产生智能。即使已经了解了大脑的很多知识，人类智能仍然是个黑盒子。

对黑盒的研究，要么从外部观察其行为，然后来模拟其结构，可称为自上而下的研究；要么猜测其结构，然后从外部的输入输出来验证其行为，可称为自下而上的研究。题目所说的自上而下还是自下而上即是从哪个方向来研究强人工智能问题。

宏观上研究的成果中，最显而易见的就是类人机器人。这类机器人从行为、语言、表情等方面来模拟人。如果最终能让人觉得这些机器人是真人，那么这个方向就算是成功了。当然，从现在的成果来看还不成功。另一方面是深蓝、沃森这样的依靠在下棋、回答问题等方面来战胜人类智能，从而证明自己能力。从这些特定的领域上来看，它们是比较成功的。但就算是把上面提到的所有方面都合到一起，也很难认为他们达到了人类的能力。

微观上的研究，是从感知器的结构被提出来后开始的。从此产生了现在的人工神经网络、机器学习等大量的算法和研究成果，解决了很多实际问题。从微观上出发，证明了它们从微观结构上模拟的优势，但需要花费大量时间建立问题模型。

这篇博客主要介绍处理不平衡数据的技巧，那么什么是不平衡数据呢？比如说一位医生做了一个病例对照研究，数据集由病例10人和对照990人组成，建立好一个逻辑回归模型后，并对建立的模型进行内部验证，居然发现其正确率高达99%，然后把他兴奋坏了，觉得可以将该成果发表到顶级期刊上，从此走上人生巅峰。然而，我们可以发现，该模型不管怎么预测，都能得到正常的结果，所谓的99%的正确率，原来是建立在1000个人中10个病例都发现不了的基础上。从这个例子可以看出，当遇到不平衡数据时，以总体分类准确率为学习目标的传统分类算法会过多地关注多数类，从而使得少数类样本的分类性能下降。

介绍

不平衡数据广泛存在于各个领域，但在二分类问题中尤其常见，表现为其中的一个类别所占的比例远远高于另外的一个类。比如：银行欺诈检测、市场营销、网络入侵检测等领域。

这些领域中的数据集有哪些共同点呢？可以发现在这些领域中使用的数据通常不到1％，但一旦发生就是一件“有趣”的事件（例如使用信用卡的欺诈者的违规交易，用户点击广告或原本已损坏的服务器在扫描其网络）。然而，大多数机器学习算法对于不平衡数据集都不能很好地工作。

以下七种技术可以帮助我们训练分类器来检测异常类。

随着无人车技术发展越发成熟，越来越多人开始关注这个号称拥有万亿量级市场的新型行业。那么今天，我就先简单介绍下通常无人车所拥有的传感器。

首先，在汽车前玻璃上装有两个摄像头，就像人眼一样，构立体图像，可以捕捉图像数据和距离数据。

其次，在两个立体相机中间是一个交通信号识别摄像头.通常交通信号灯在十字路口的另一边，因此需要特殊镜头，让摄像头捕捉足够的成像距离，可以检测远处的信号。