demi的博客

自然语言是人类独有的智慧结晶。自然语言处理（Natural Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向，旨在研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。用自然语言与计算机进行通信，有着十分重要的实际应用意义，也有着革命性的理论意义。

由于理解自然语言，需要关于外在世界的广泛知识以及运用操作这些知识的能力，所以自然语言处理，也被视为解决人工智能完备（AI-complete）的核心问题之一。对自然语言处理的研究也是充满魅力和挑战的。

本文是来自自然语言处理领域从业人员、知名博主 Sebatian Ruder的一篇文章，主要从神经网络技术方法的角度，讨论自然语言处理领域近 15 年来的重大进展，并总结出与当下息息相关的 8 大里程碑事件。文章内容难免会省略了一些其它重要的相关工作，同时，这份总结偏向于神经网络相关技术，这并不意味着在这段时间内其它技术领域就没有重要的进展。值得注意的是，文中提及的很多神经网络模型都是建立在同一时期非神经网络技术的里程碑之上的，在文章的最后，我们强调了这些打下坚实基础的重要成果。

训练有素的士兵无法空手执行任务。 数据科学家拥有自己的武器 - 机器学习（ML）软件。 已经有大量文章列出了可靠的机器学习工具，并对其功能进行了深入的描述。 然而，我们的目标是获得行业专家的反馈。

这就是为什么我们采访数据科学从业者 - 大师，真正考虑他们为项目选择的有用工具。 我们联系的专家拥有各种专业领域，并且在Facebook和三星等公司工作。 其中一些代表AI创业公司（Objection Co，NEAR.AI和Respeecher）; 一些人在大学任教（哈尔科夫国立无线电大学）。

最流行的机器学习语言

你在一个外国餐馆，你不熟悉这种文化。 你可能会问服务员关于菜单上的文字，他们的意思，甚至在你发现你将使用什么用具之前的一些问题。 因此，在谈论数据科学家最喜欢的工具之前，让我们弄清楚他们使用的编程语言。

区块链与人工智能这两大前沿技术，前者拥有数据透明公开、效率低下、去中心化、隐私性等特性，而后者传统上则被巨头所垄断，因此具有中心化的特性，同时其也容易发生出错的情况，那么这两种技术结合又会擦出什么样的火花呢，其中遇到的挑战又在于哪？来自1Kosmos BlockID的创始人兼CTO Rohan Pinto在本文中给出了他的看法。

我在密码学领域已工作了二十多年，并且自其诞生以来，我一直是密码学发展的积极参与者。尤其是，我认为人工智能（AI）和区块链的结合，会是一个令人兴奋，但具有挑战性的新发展。

Matt Turck最近讨论了为什么这个话题很重要，并强调了行业当中一些有趣的项目，他将人工智能（大数据、数据科学、机器学习）和区块链（去中心化基础设施）定义为下一个十年的核心技术。显然，这些新概念的时机已经成熟了，尽管它们仍然是新生的、仍不发达的。

有趣的是，人工智能和区块链在哲学上是不同的：

AI是由更中心化的基础设施驱动的，这与区块链去中心化、分布式的性质是相对的；

很多人工智能技术由中心化提供商所拥有和运营的，而市场上的大多数区块链企业都将其代码库开源公开，任何人都可以在任何时间点自由地查看这些代码。

就现在而言，AI更像是一个黑盒解决方案，而区块链在处理其交易时往往是很透明的。

现代的大部分机器学习的算法将神经元分出了清晰的层次。所谓分层，即将神经元分为几层（也可认为是几组）。每层内的神经元没有联系，相邻的层与层之间的神经元会有两两的联系，从而形成一个关系矩阵。非相邻层的神经元之间没有联系。这里的相邻指的是神经元层次之间的关系，每层神经元有一层或者前后两层相邻。

一般神经网络的算法的神经元层数是有限的，一般是两三层。在理论上，三层神经元（包括输入、输出和隐含层，除去输入输出，也可算做只有一层）就足以解决所有问题了，因为中间的隐含层能够表达所有函数。但这只是数学上的可能性，实际中如果只用一个隐含层来实现人类智能，需要的节点数量估计近似于无穷。

在这篇文章中，我们一起来讨论一种叫作“神经网络”(Neural Network)的机器学习算法，这也是我硕士阶段的研究方向。我们将首先讨论神经网络的表层结构，在之后再具体讨论神经网络学习算法。

神经网络实际上是一个相对古老的算法，并且沉寂了一段时间，不过到了现在它又成为许多机器学习问题的首选技术。

1. Non-linear Hypotheses

之前我们已经介绍过线性回归和逻辑回归算法了，那为什么还要研究神经网络？

为了阐述研究神经网络算法的目的，我们首先来看几个机器学习问题作为例子。这几个问题的解决都依赖于复杂的非线性分类器。

考虑这个监督学习分类的问题，我们已经有了对应的训练集，如果利用逻辑回归算法来解决这个问题，首先需要构造一个包含很多非线性项的逻辑回归函数，这里 g 仍是 s 型函数 (即f(x)=1/(1+e^-x) )。我们能让函数包含很多像这样的多项式项，事实上，当多项式项数足够多时那么可能你能够得到一个分开正样本和负样本的分界线。

1

近年来，我国的物联网产业发展迅速，据相关数据统计和预测，2014年产业规模达到了6320亿元人民币，同比增长22.6%;2015年产业规模达到7500亿元人民币，同比增长29.3%;2017年产业规模突破9300亿元，同比增长9.31%。预计2018年我国的物联网整体规模将突破万亿元。

传感器在物联网产业中的作用

物联网是将各种信息传感设备和互联网结合起来形成的一个巨大网络，它是互联网的升级，也是信息化时代的核心。物联网的发展需要智能感知、识别和通讯等技术支撑，而感知的关键就是传感器及相关技术，可以毫不夸张的说，没有传感器的进步，就没有物联网的繁荣。随着物联网的发展，传感器产业也将迎来爆发，传感器是物联网采集数据的关键组件，扮演着不可或缺的角色。

汽车作为现代人必备的交通工具，人们对其的要求越来越高，从外观到内饰，然而价格也是越来越“美”，一部车多多少少也有数千个零部件，不同的部件有不同的功能，然而都是缺一不可的。同一部件采用不同的材质，性能价格也是不同的，那么汽车中最贵都是哪些呢？下面我们来盘点一下。

1、发动机

发动机是汽车的心脏，人们都知道心脏是人于人自身的重要性，那么发动机对于汽车就是这样一种存在。重要但是也贵，在整车的价格中，发动机的价格占整车的60%，平时的维修保养及检测最不可少的就是它了。像宝马车由于底盘较低，雨天容易涉水，那么涉水之后的处理就是不要启动车辆，而是拖车到4s店进行检测，检测后确认发动机有无异常后再启动车辆，否则就要更换发动机，价格就不止维修保养那么简单了。

2、变速箱

全局照明（Global Illumination）问题上已经有很多著名的算法，如路径追踪（Path Tracing），辐照度（Radiosity）等。绝大部分书籍/教材都直接介绍了做法，在理论方面有所欠缺（比如算法的正确性）。这段时间在看《Advanced Global Illumination》，大呼爽快，所以做了这些笔记。

一、方向和立体角

立体角（Solid Angle）是平面角的推广。如上图，考虑一块不规则的曲面，其在单位球体（球心在原点，半径 r = 1）上的投影为曲面 A ，则 A 的面积 S 为该曲面对应的立体角Ω。根据定义易知，任何包含原点的球体对应的立体角都为 4π 。如果用球坐标 ( θ φ, ) 来刻画立体角，那么其微分 dw 可以被表示为

怎样理解非线性变换和多层网络后的线性可分，神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换

线性可分：

一维情景：以分类为例，当要分类正数、负数、零，三类的时候，一维空间的直线可以找到两个超平面（比当前空间低一维的子空间。当前空间是直线的话，超平面就是点）分割这三类。但面对像分类奇数和偶数无法找到可以区分它们的点的时候，我们借助 x % 2（除2取余）的转变，把x变换到另一个空间下来比较0和非0，从而分割奇偶数。

二维情景：平面的四个象限也是线性可分。但下图的红蓝两条线就无法找到一超平面去分割。

图像处理的算法复杂度通常都比较高，计算也相应比较耗时。利用CPU多线程处理能力可以大幅度加快计算速度。但是，为了保证多线程处理的结果和单线程处理的结果完全相同，图像的多线程计算有一些需要特别考虑的地方。

基本思路：为了能让多个线程同时并行处理，那么各自处理的数据不能有交集，这很好理解。那么基本思路是将一副图像分成多个子块，每个子块数据肯定是没有交集的，每个线程对一个子块数据进行处理，完成后将所有子块处理结果合成最终图像。

首先，每个子块的大小当然是必须考虑的问题。通常当应用进行一个较长时间的操作，应该用合适的方式告知用户。既然我们把图像分子块处理，如果单个子块处理时间很短，那么每当有一个子块的数据处理完成，我们就可以立即把它相应的处理结果展示给用户。用户就会看到这个图像各个部分的处理结果不断展示出来，直至整个图像完成。这样某种程度上用这种方式就是在告知用户正在处理进行中，避免为了把整个图像处理完成，用户需要等待太长时间。从这个角度来说，如果子块尺寸取的太大，每个子块计算时间肯定相应地加长，对于快速显示部分处理结果给用户是不利的。但是如果子块太小，子块总数就会增加，肯定会增加线程开销和其他一些开销（分割图像，分配子块数据等等），对于总的计算时间是不利的。这是一个权衡问题，可以根据具体情况确定。