现代的大部分机器学习的算法将神经元分出了清晰的层次。所谓分层，即将神经元分为几层（也可认为是几组）。每层内的神经元没有联系，相邻的层与层之间的神经元会有两两的联系，从而形成一个关系矩阵。非相邻层的神经元之间没有联系。这里的相邻指的是神经元层次之间的关系，每层神经元有一层或者前后两层相邻。

一般神经网络的算法的神经元层数是有限的，一般是两三层。在理论上，三层神经元（包括输入、输出和隐含层，除去输入输出，也可算做只有一层）就足以解决所有问题了，因为中间的隐含层能够表达所有函数。但这只是数学上的可能性，实际中如果只用一个隐含层来实现人类智能，需要的节点数量估计近似于无穷。

在这篇文章中，我们一起来讨论一种叫作“神经网络”(Neural Network)的机器学习算法，这也是我硕士阶段的研究方向。我们将首先讨论神经网络的表层结构，在之后再具体讨论神经网络学习算法。

神经网络实际上是一个相对古老的算法，并且沉寂了一段时间，不过到了现在它又成为许多机器学习问题的首选技术。

<font size="3"><strong>1. Non-linear Hypotheses</strong></font>

之前我们已经介绍过线性回归和逻辑回归算法了，那为什么还要研究神经网络？

为了阐述研究神经网络算法的目的，我们首先来看几个机器学习问题作为例子。这几个问题的解决都依赖于复杂的非线性分类器。

近年来，我国的物联网产业发展迅速，据相关数据统计和预测，2014年产业规模达到了6320亿元人民币，同比增长22.6%;2015年产业规模达到7500亿元人民币，同比增长29.3%;2017年产业规模突破9300亿元，同比增长9.31%。预计2018年我国的物联网整体规模将突破万亿元。

<strong>传感器在物联网产业中的作用</strong>

物联网是将各种信息传感设备和互联网结合起来形成的一个巨大网络，它是互联网的升级，也是信息化时代的核心。物联网的发展需要智能感知、识别和通讯等技术支撑，而感知的关键就是传感器及相关技术，可以毫不夸张的说，没有传感器的进步，就没有物联网的繁荣。随着物联网的发展，传感器产业也将迎来爆发，传感器是物联网采集数据的关键组件，扮演着不可或缺的角色。

汽车作为现代人必备的交通工具，人们对其的要求越来越高，从外观到内饰，然而价格也是越来越“美”，一部车多多少少也有数千个零部件，不同的部件有不同的功能，然而都是缺一不可的。同一部件采用不同的材质，性能价格也是不同的，那么汽车中最贵都是哪些呢？下面我们来盘点一下。

<strong>1、发动机</strong>

全局照明（Global Illumination）问题上已经有很多著名的算法，如路径追踪（Path Tracing），辐照度（Radiosity）等。绝大部分书籍/教材都直接介绍了做法，在理论方面有所欠缺（比如算法的正确性）。这段时间在看《Advanced Global Illumination》，大呼爽快，所以做了这些笔记。

<font size="3"><strong>一、方向和立体角</strong></font>

怎样理解非线性变换和多层网络后的线性可分，神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换

线性可分：

一维情景：以分类为例，当要分类正数、负数、零，三类的时候，一维空间的直线可以找到两个超平面（比当前空间低一维的子空间。当前空间是直线的话，超平面就是点）分割这三类。但面对像分类奇数和偶数无法找到可以区分它们的点的时候，我们借助 x % 2（除2取余）的转变，把x变换到另一个空间下来比较0和非0，从而分割奇偶数。

图像处理的算法复杂度通常都比较高，计算也相应比较耗时。利用CPU多线程处理能力可以大幅度加快计算速度。但是，为了保证多线程处理的结果和单线程处理的结果完全相同，图像的多线程计算有一些需要特别考虑的地方。

基本思路：为了能让多个线程同时并行处理，那么各自处理的数据不能有交集，这很好理解。那么基本思路是将一副图像分成多个子块，每个子块数据肯定是没有交集的，每个线程对一个子块数据进行处理，完成后将所有子块处理结果合成最终图像。

机器学习是大数据、人工智能的核心，是从事这个领域的必经之路。但是懂得算法还远远不能体现机器学习的价值所在。如果你是开发者，方便的机器学习egg为你涉入该领域提供了便捷。不过，能够确定一套高商业价值的模型，你需要很长的积淀。总结八个机器学习的核心能力以供把控方向。

<font size="3" color="blue"><strong>1、问题模型化能力</strong></font>

机器学习的最终目的是实现某种问题的利益最大化，所有实际问题最终都会转化为一个数据科学的优化问题，那么就需要你有较好的行业背景认识。尽管海量数据会大量缩小你对行业熟知知识的要求，但数据往往不全是海量的，且熟悉的行业背景知识可大大提高效率。

<strong>1. 背景：</strong>

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

<font size="3"><strong>0、思想：</strong></font>

对于给定的待分类项x，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。

关键：为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题，引入了条件独立性假设。用于分类的特征在类确定的条件下都是条件独立的。

<font size="3"><strong>1、朴素贝叶斯朴素在哪里？</strong></font>

虽然跟得太紧或是刹车太晚等驾驶行为很容易处理，但是预测其他驾驶员行为以及处理复杂的交叉路口情况只能依赖有经验的驾驶员。自动驾驶汽车（AV）就像新手驾驶员，只是其拥有发展得更好的大脑以及价值数十亿美元的技术，可帮助缩短学习时间。但是即使使用其所有的传感器和软件，自动驾驶汽车在可以完全自信且有能力驾驶之前，仍有需要克服的缺陷。

在自动驾驶车辆竞争中，有几项不太引人注目的技术趋势正在突起，以帮助真正的自动驾驶车辆成为现实。

<strong>教会自动驾驶车辆有关道路规则技术</strong>

人类驾驶员必须学习驾驶员手册，了解停车标志和让路标志的区别，同样地，自动驾驶车辆也需要通过人工智能（AI）学习道路规则。此外，自动驾驶车辆还需要通过在路上花费数小时来获取有关真实世界的体验。

物联网(IOT)是一项科技革命，目标在于将短距离移动资料收发器嵌入到日常生活中的小工具或事物中，为信息通讯的技术领域带来新的发展面向。

<font size="3"><strong>Frost & Sullivan的研究报告提出物联网的八大发展趋势：</strong></font>

<strong>一、物联网将演变为认知工具</strong>

2017年物联网的发展将从IoT 0.0版的连接装置演变成IoT 2.0版的使用认知运算(cognitive computing)及预测运算(predictive computing)。

Gartner公司昨天列出了企业组织在2019年需要探究的几大战略性技术趋势。分析师在Gartner研讨会/ ITxpo大会期间介绍了他们的调查结果。

某种程度上，下一阶段的全球市场竞争或将是“得电池者得天下”的局面。至少在未来汽车工业的发展轨迹来看，这将是大概率事件。因而，无论是汽车生产商还是电池供应商，都十分紧张各自的电池产业布局。

雷诺日产三菱CEO卡洛斯·戈恩（Carlos Ghosn）在上周日（10月14日）刚刚结束的巴黎车展上表示，除非行业能建立自己的电池产能，否则就不可能获得持续的繁荣。

电动汽车来了。目前，全世界有约250万辆电动汽车在使用中。国际能源署(IEA)预计，到2025年，鉴于传统内燃机汽车的使用受到监管以及电池费用下降可能促使未来全球电动汽车出现强劲增长，电动汽车数量将上升到4000万至7000万辆。目前几乎所有的欧洲主要汽车品牌都计划在未来18个月内大规模推广电动车，以满足2020年开始生效的更严格的二氧化碳排放标准。

本文认为，2019年智能家居的发展趋势为：①智能家具；②智能车库门；③智能卫浴技术；④智能车库门；⑤出租公寓将配备智能家居；⑥出租公寓将配备智能家居；⑦智能家居可穿戴设备。

2015年，全球智能家居市场已达485亿美元。2018年，全球智能家居市场规模预计将达到710亿美元。

在越来越注重个人体验的时代里，智能家居已经成为居家必备品，传统家居已经无法满足当代年轻人对生活品质的需求。现代科技推动时代的发展，在一定程度上改变着人类生活和消费的习惯。随着新产品的的出现，智能家居市场会出现很多新的发展趋势。

<font size="3" color="#33b1c8"><strong>趋势一：智能家具</strong></font>

电子商务巨头亚马逊（Amazon）在上周宣布推出其流媒体设备的最新版本：Fire TV Stick 4K。它的体积较小，几乎等同于U盘，能为任何带有HDMI接口的电视提供流媒体服务——只需要简单的插在电视接口上即可。这是该设备的第五次迭代，与2015版本一样，本次更新采用的也是PowerVR GPU，集成的是PowerVR GE8300 Series8XE处理器内核。

<font size="3"><strong>卷积神经网络（CNN）</strong></font>

卷积神经网络和前几次介绍的神经网络非常相似：它们都是由神经元组成，神经元中有具有学习能力的权重和偏差。每个神经元都得到一些输入数据，进行内积运算后再进行激活函数运算。整个网络依旧是一个可导的评分函数：该函数的输入是原始的图像像素，输出是不同类别的评分。在最后一层（往往是全连接层），网络依旧有一个损失函数（比如SVM或Softmax），并且在神经网络中我们实现的各种技巧和要点依旧适用于卷积神经网络。

灰度图像上每个像素的颜色值又称为灰度，指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0。所谓灰度值是指色彩的浓淡程度，灰度直方图是指一幅数字图像中，对应每一个灰度值统计出具有该灰度值的象素数。

灰度就是没有色彩，RGB色彩分量全部相等。如果是一个二值灰度图象，它的象素值只能为0或1，我们说它的灰度级为2。用个例子来说明吧：一个256级灰度的图象，如果RGB三个量相同时，如：RGB(100,100,100)就代表灰度为100，RGB(50,50,50)代表灰度为50。

现在大部分的彩色图像都是采用RGB颜色模式，处理图像的时候，要分别对RGB三种分量进行处理，实际上RGB并不能反映图像的形态特征，只是从光学的原理上进行颜色的调配。

<font color="#FD8900">作者：蔡恒进</font>

我们也许不会马上遭遇机器具有自我意识、反叛人类的危险，但是很可能制造了一个很偏执的机器。我们即使是想让机器为人服务，也有可能会出错，这并不是机器有意识造反，只需要某一个方面失控就能对人造成很深的伤害，因为它的速度和力量比人类强大太多，这才是很快就会来临的危险]

摩尔定律描述硬件发展是18个月芯片的能力翻一倍，现在AI的计算力，有统计表明是3.5个月翻一倍。虽然计算力本身不意味着AI的能力，但仍然能够说明AI进化的速度多么恐怖。

据SingularityHub报道，太空探索中的人工智能(AI)正在蓄势待发。在未来几年里，当我们前往彗星、卫星和行星，并探索在小行星上采矿的可能性时，新的任务看起来可能会得到AI的巨大帮助。

欧洲航天局(ESA)高级概念和研究办公室主任利奥波德·萨默斯(Leopold Summerer)在接受采访时说:“AI已经改变了游戏规则，使科学研究和探索更加高效。AI不仅让这种效率翻倍，而是提高了10倍。”

<strong>例证比比皆是</strong>

AI在太空探索中应用的历史比许多人想象的要久远得多。AI已经在研究我们的星球、太阳系和宇宙方面发挥了重要作用。随着计算机系统和软件的发展，AI的潜在用例也在不断增加。