demi的博客

本文中，微软亚洲研究院机器学习组的研究员们为我们盘点最热门的机器学习技术，梳理机器学习面临的挑战以及未来十年的发展趋势。

人工智能正热。

技术创新是经济增长的根本动力。这些技术中，最重要的就是经济学家提到的“通用技术”，比如蒸汽机、内燃机、电力等。如今这个时代，人工智能就是最重要的“通用技术”。特别是行业与人工智能的结合，释放了行业的潜力，重塑了我们的生活。

人工智能备受关注、取得革命性进步背后的推手，其实是“机器学习”。

机器学习其实是一门多领域交叉学科，它涉及到计算机科学、概率统计、函数逼近论、最优化理论、控制论、决策论、算法复杂度理论、实验科学等多个学科。机器学习的具体定义也因此有许多不同的说法，分别以某个相关学科的视角切入。但总体上讲，其关注的核心问题是如何用计算的方法模拟类人的学习行为：从历史经验中获取规律（或模型），并将其应用到新的类似场景中。

那么，当我们谈机器学习时，到底在谈些什么？从业者需要掌握哪些前沿技术？未来，又有什么技术趋势值得期待？

看前沿：你需要掌握的机器学习技术

什么是渲染管线？

渲染管线也称为渲染流水线，是显示芯片内部处理图形信号相互独立的的并行处理单元。

一个流水线是一序列可以并行和按照固定顺序进行的阶段。每个阶段都从它的前一阶段接收输入，然后把输出发给随后的阶段。

然后u3d的文档看上去像是只说了渲染路径，而渲染管线（渲染流水线）并没有怎么说明。

Unity 3D 用户文档 —— 渲染管线概述

渲染管线概述

着色器定义了对象本身的外观（其材质属性）以及它如何对光线做出反应。由于照明计算必须内置到着色器中，并且有许多可能的光影类型，因此编写“正常工作”的高质量着色器将是一项相关任务。为了使它更容易，Unity具有表面着色器，其中所有的照明，阴影，光照贴图，前进与延期渲染事情都会自动处理。

本文档描述了Unity照明和渲染管线的特性以及Surface Shaders幕后的情况。

作者：武汉飔拓科技

一、什么是自然语言处理

简单地说，自然语言处理（NaturalLanguage Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言，人类的思维也就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。

从研究内容来看，自然语言处理包括语法分析、语义分析、篇章理解等。从应用角度来看，自然语言处理具有广泛的应用前景。特别是在信息时代，自然语言处理的应用包罗万象，例如：机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。

据研究报告到2020年，将有超过200亿台互联网连接设备投入使用，这些设备每年将产生超过500个zettabytes的数据，随着更多的技术进步，这个数字预计将继续大幅增加。对于已经投资物联网的70%以上的组织而言，所有这些数据自然代表了独特的竞争优势，并且获得了用于开发创新AI应用程序的宝贵信息和见解的巨大机会。

事实证明，对于数据科学家和机器学习工程师而言，物联网数据与商业领袖一样令人兴奋。从医疗保健和农业到教育和运输，物联网蓬勃发展的领域与其应用程序一样多样化，从发现新信息到决策控制。物联网数据科学为创建令人兴奋的新数据产品打开了大门。但是，我们将在本文中研究物联网数据科学的一些特殊性。

数据注意事项

作者：七月在线寒小阳、龙心尘

1 抽象成数学问题

明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。

这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。

2 获取数据

数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。

数据要有代表性，否则必然会过拟合。

而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。
而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。

3 特征预处理与特征选择

良好的数据要能够提取出良好的特征才能真正发挥效力。

这里对wifi的802.11协议中比较常见的知识做一个基本的总结和整理，便于后续的学习。因为无线网络中涉及术语很多，并且许多协议都是用英文描述，所以有些地方翻译出来会有歧义，这种情况就直接英文来描述了。

一、基本概述

1、有线和无线网络

目前有线网络中最著名的是以太网(Ethenet)，但是无线网络WLAN是一个很有前景的发展领域，虽然可能不会完全取代以太网，但是它正拥有越来越多的用户，无线网络中最有前景的是Wifi。本文介绍无线网络相关内容。

无线网络相比有线网络，还是有许多的缺点的：

通信双方因为是通过无线进行通信，所以通信之前需要建立连接；而有线网络就直接用线缆连接，不用这个过程了。

通信双方通信方式是半双工的通信方式；而有线网络可以是全双工。

通信时在网络层以下出错的概率非常高，所以帧的重传概率很大，需要在网络层之下的协议添加重传的机制（不能只依赖上面TCP/IP的延时等待重传等开销来保证）；而有线网络出错概率非常小，无需在网络层有如此复杂的机制。

随着技术的快速发展云计算、大数据、人工智能一些新名词进入大众的视野，人工智能是人类进入信息时代后的又一技术革命正受到越来越广泛的重视。作为人工智能技术在汽车行业、交通领域的延伸与应用，无人驾驶近几年在世界范围内受到了产学界甚至国家层面的密切关注。

自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。自动驾驶技术将成为未来汽车一个全新的发展方向。本文将主要介绍人工智能技术在自动驾驶中的应用领域，并对自动技术的发展前景进行一个简单的分析。

人工智能是一门起步晚却发展快速的科学。20 世纪以来科学工作者们不断寻求着赋予机器人类智慧的方法。现代人工智能这一概念是从英国科学家图灵的寻求智能机发展而来，直到1937年图灵发表的论文《理想自动机》给人工智能下了严格的数学定义，现实世界中实际要处理的很多问题不能单纯地是数值计算，如言语理解与表达、图形图像及声音理解、医疗诊断等等。

5.1 网之初，感知机

我们知道，《三字经》里开篇第一句就是：“人之初，性本善”。那么对于神经网络来说，这句话就要改为：“网之初，感知机”。感知机（ Perceptrons ），基本上来说，是一切神经网络学习的起点。

很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅一带而过。学过编程的同学都知道，不论是哪门什么语言，那个神一般存在的第一个程序——“Hello World”，对初学者有多么重要，可以说，它就是很多人“光荣与梦想”开始的地方。

而感知机学习，就是神经网络学习的“Hello World”，所以对于初学者来说，也值得我们细细玩味。因此，下面我们就给予详细讲解。

5.2 感性认识“感知机”

在第3小节中，我们已经提到，所谓的感知机，其实就是一个由两层神经元构成的网络结构，它在输入层接收外界的输入，通过激活函数（含阈值）的变换，把信号传送至输出层，因此它也称之为“阈值逻辑单元（threshold logic unit）”。

学习着色器，并理解着色器的工作机制，就要对OpenGL的固定功能管线有深入的了解。

首先要知道几个OpenGL的术语

渲染(rendering)：计算机根据模型(model)创建图像的过程。
模型(model)：根据几何图元创建的物体(object)。
几何图元：包括点、直线和多边形等，它是通过顶点(vertex)指定的。

最终完成了渲染的图像是由在屏幕上绘制的像素组成的。在内存中，和像素有关的信息（如像素的颜色）组织成位平面的形式，位平面是一块内存区域，保存了屏幕上每个像素的一个位的信息。例如，它指定了一个特定像素的颜色中红色成分的强度。位平面又可以组织成帧缓冲区(framebuffer)的形式，后者保存了图形硬件为了控制屏幕上所有像素的颜色和强度所需要的全部信息。

OpenGL的固定功能管线

俗话说得好：如果某事看起来好到令人难以置信，那可能真的不能相信。仔细想想，绝佳交易和骗局看上去都是超级好。二者都表现出能为你面临的棘手难题提供必备解决方案的样子。然而，其中一个是真的很好，而另一个就很玄乎了。

同时，信息安全行业中的供应商都太急于抛出流行词，试图说服客户他们的解决方案非常合适。这种大环境下，企业或机构该如何理解什么是真的很好什么是太过虚幻呢？

以下就列出8个安全领域经常会遇到的流行词，帮读者看清它们的真相。

1. 人工智能

热炒人工智能(AI)概念的供应商多如牛毛，而且越来越多。千万别让这种被炒出来的概念迷惑了双眼。无论你要解决的问题是什么，让你的供应商解释清楚他们到底是怎样应用AI的，他们的解决方案如何帮助你的公司解决问题。比如说，如果供应商大赞其终端解决方案中的AI，那就问一些尖锐的问题。操作的是什么数据？扩展性如何？怎么在企业范围内加以应用？AI方法怎么识别感兴趣事件，怎么产生警报？大型企业生产环境中的误报率是多少？怎样最小化误报？

2. 机器学习