现代的大部分机器学习的算法将神经元分出了清晰的层次。所谓分层，即将神经元分为几层（也可认为是几组）。每层内的神经元没有联系，相邻的层与层之间的神经元会有两两的联系，从而形成一个关系矩阵。非相邻层的神经元之间没有联系。这里的相邻指的是神经元层次之间的关系，每层神经元有一层或者前后两层相邻。
一般神经网络的算法的神经元层数是有限的，一般是两三层。在理论上，三层神经元（包括输入、输出和隐含层，除去输入输出，也可算做只有一层）就足以解决所有问题了，因为中间的隐含层能够表达所有函数。但这只是数学上的可能性，实际中如果只用一个隐含层来实现人类智能，需要的节点数量估计近似于无穷。
在这篇文章中，我们一起来讨论一种叫作“神经网络”(Neural Network)的机器学习算法，这也是我硕士阶段的研究方向。我们将首先讨论神经网络的表层结构，在之后再具体讨论神经网络学习算法。
神经网络实际上是一个相对古老的算法，并且沉寂了一段时间，不过到了现在它又成为许多机器学习问题的首选技术。
1. Non-linear Hypotheses
之前我们已经介绍过线性回归和逻辑回归算法了，那为什么还要研究神经网络？
为了阐述研究神经网络算法的目的，我们首先来看几个机器学习问题作为例子。这几个问题的解决都依赖于复杂的非线性分类器。
考虑这个监督学习分类的问题，我们已经有了对应的训练集，如果利用逻辑回归算法来解决这个问题，首先需要构造一个包含很多非线性项的逻辑回归函数，这里 g 仍是 s 型函数 (即f(x)=1/(1+e^-x) )。我们能让函数包含很多像这样的多项式项，事实上，当多项式项数足够多时那么可能你能够得到一个分开正样本和负样本的分界线。
1
近年来，我国的物联网产业发展迅速，据相关数据统计和预测，2014年产业规模达到了6320亿元人民币，同比增长22.6%;2015年产业规模达到7500亿元人民币，同比增长29.3%;2017年产业规模突破9300亿元，同比增长9.31%。预计2018年我国的物联网整体规模将突破万亿元。
传感器在物联网产业中的作用
物联网是将各种信息传感设备和互联网结合起来形成的一个巨大网络，它是互联网的升级，也是信息化时代的核心。物联网的发展需要智能感知、识别和通讯等技术支撑，而感知的关键就是传感器及相关技术，可以毫不夸张的说，没有传感器的进步，就没有物联网的繁荣。随着物联网的发展，传感器产业也将迎来爆发，传感器是物联网采集数据的关键组件，扮演着不可或缺的角色。
汽车作为现代人必备的交通工具，人们对其的要求越来越高，从外观到内饰，然而价格也是越来越“美”，一部车多多少少也有数千个零部件，不同的部件有不同的功能，然而都是缺一不可的。同一部件采用不同的材质，性能价格也是不同的，那么汽车中最贵都是哪些呢？下面我们来盘点一下。
1、发动机
发动机是汽车的心脏，人们都知道心脏是人于人自身的重要性，那么发动机对于汽车就是这样一种存在。重要但是也贵，在整车的价格中，发动机的价格占整车的60%，平时的维修保养及检测最不可少的就是它了。像宝马车由于底盘较低，雨天容易涉水，那么涉水之后的处理就是不要启动车辆，而是拖车到4s店进行检测，检测后确认发动机有无异常后再启动车辆，否则就要更换发动机，价格就不止维修保养那么简单了。
2、变速箱
全局照明（Global Illumination）问题上已经有很多著名的算法，如路径追踪（Path Tracing），辐照度（Radiosity）等。绝大部分书籍/教材都直接介绍了做法，在理论方面有所欠缺（比如算法的正确性）。这段时间在看《Advanced Global Illumination》，大呼爽快，所以做了这些笔记。
一、方向和立体角
立体角（Solid Angle）是平面角的推广。如上图，考虑一块不规则的曲面，其在单位球体（球心在原点，半径 r = 1）上的投影为曲面 A ，则 A 的面积 S 为该曲面对应的立体角Ω。根据定义易知，任何包含原点的球体对应的立体角都为 4π 。如果用球坐标 ( θ φ, ) 来刻画立体角，那么其微分 dw 可以被表示为
怎样理解非线性变换和多层网络后的线性可分，神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换
线性可分：
一维情景：以分类为例，当要分类正数、负数、零，三类的时候，一维空间的直线可以找到两个超平面（比当前空间低一维的子空间。当前空间是直线的话，超平面就是点）分割这三类。但面对像分类奇数和偶数无法找到可以区分它们的点的时候，我们借助 x % 2（除2取余）的转变，把x变换到另一个空间下来比较0和非0，从而分割奇偶数。
二维情景：平面的四个象限也是线性可分。但下图的红蓝两条线就无法找到一超平面去分割。
图像处理的算法复杂度通常都比较高，计算也相应比较耗时。利用CPU多线程处理能力可以大幅度加快计算速度。但是，为了保证多线程处理的结果和单线程处理的结果完全相同，图像的多线程计算有一些需要特别考虑的地方。
基本思路：为了能让多个线程同时并行处理，那么各自处理的数据不能有交集，这很好理解。那么基本思路是将一副图像分成多个子块，每个子块数据肯定是没有交集的，每个线程对一个子块数据进行处理，完成后将所有子块处理结果合成最终图像。
首先，每个子块的大小当然是必须考虑的问题。通常当应用进行一个较长时间的操作，应该用合适的方式告知用户。既然我们把图像分子块处理，如果单个子块处理时间很短，那么每当有一个子块的数据处理完成，我们就可以立即把它相应的处理结果展示给用户。用户就会看到这个图像各个部分的处理结果不断展示出来，直至整个图像完成。这样某种程度上用这种方式就是在告知用户正在处理进行中，避免为了把整个图像处理完成，用户需要等待太长时间。从这个角度来说，如果子块尺寸取的太大，每个子块计算时间肯定相应地加长，对于快速显示部分处理结果给用户是不利的。但是如果子块太小，子块总数就会增加，肯定会增加线程开销和其他一些开销（分割图像，分配子块数据等等），对于总的计算时间是不利的。这是一个权衡问题，可以根据具体情况确定。
机器学习是大数据、人工智能的核心，是从事这个领域的必经之路。但是懂得算法还远远不能体现机器学习的价值所在。如果你是开发者，方便的机器学习egg为你涉入该领域提供了便捷。不过，能够确定一套高商业价值的模型，你需要很长的积淀。总结八个机器学习的核心能力以供把控方向。
1、问题模型化能力
机器学习的最终目的是实现某种问题的利益最大化，所有实际问题最终都会转化为一个数据科学的优化问题，那么就需要你有较好的行业背景认识。尽管海量数据会大量缩小你对行业熟知知识的要求，但数据往往不全是海量的，且熟悉的行业背景知识可大大提高效率。
2、复杂数据结构化能力
喂入算法是数据是设计好的，结构化了的数据，但实际数据往往有各种来源，如图像数据、文本数据、空间、事件序列...故而合理的结构化数据的能力是很有必要的。
3、数据量、数据结构与数据合理预处理的能力
1）数据量VS异常值
1. 背景：
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。
2. 最小二乘法在机器学习中被用来
3. 高中关于最小二乘法估计
概括：
假设有若干个样本点 ( x1 , y1 ) , ( x2 , y2 ) , ( x3 , y3 ) , ( x4 , y4 ) , ( x5 , y5 ) , 求解直线y=kx+b,是的这些样本点到直线的距离最小。
0、思想：
对于给定的待分类项x，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。
关键：为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题，引入了条件独立性假设。用于分类的特征在类确定的条件下都是条件独立的。
1、朴素贝叶斯朴素在哪里？
简单来说：利用贝叶斯定理求解联合概率P(XY)时，需要计算条件概率 P( X | Y ) 。在计算 P ( X | Y ) 时，朴素贝叶斯做了一个很强的条件独立假设（当Y确定时，X的各个分量取值之间相互独立），即 P ( X1 = x1 , X2 = x2 , ... Xj=xj|Y=yk ) = P ( X1 = x1 | Y = yk ) * P( X2 = x2 | Y = yk ) * ... * P ( Xj = xj | Y = yk ) 。
主要的应用：电子邮件垃圾过滤、新闻分类