机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x-> y，其中 x 是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常 y 的维度小于 x 的维度（当然提高维度也是可以的）。f 可能是显式的或隐式的、线性的或非线性的。
目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。
之所以使用降维后的数据表示是因为：
① 在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低了准确率；而通过降维，我们希望减少冗余信息所造成的误差，提高识别（或其他应用）的精度。
② 又或者希望通过降维算法来寻找数据内部的本质结构特征。
在很多算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法如果没有降维预处理，其实是很难得到很好的效果的。
- 数据降维的目的
数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。
- 数据降维的方法
主要的方法是线性映射和非线性映射两大类。
一、线性映射
线性映射方法的代表方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis）
1.1 主成分分析算法（PCA）
主成分分析(PCA) 是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 是将原空间变换到特征向量空间内，数学表示为 AX = γX。
为什么要用协方差矩阵来特向分解呢？
协方差矩阵表征了变量之间的相关程度（维度之间关系）。
对数据相关性矩阵的特向分解，意味着找到最能表征属性相关性的特向（最能表征即误差平方最小）。PCA一开始就没打算对数据进行特向分解，而是对数据属性的相关性进行分析，从而表示出最能代表属性相关性的特向，然后将原始数据向这些特向上投影。所以，有的地方说PCA去相关。
通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。可以证明，PCA是丢失原始数据信息最少的一种线性降维方式。（实际上就是最接近原始数据，但是PCA并不试图去探索数据内在结构）
设 n 维向量w为目标子空间的一个坐标轴方向（称为映射向量），最大化数据映射后的方差，有：
其中 m 是数据实例的个数，xi 是数据实例 i 的向量表达， x拔是所有数据实例的平均向量。定义W 为包含所有映射向量为列向量的矩阵，经过线性代数变换，可以得到如下优化目标函数：
其中tr表示矩阵的迹，A是数据协方差矩阵。
容易得到最优的W是由数据协方差矩阵前 k 个最大 的特征值对应的特征向量作为列向量构成的。这些特征向量形成一组正交基并且最好地保留了数据中的信息。
PCA的输出就是 Y = W*X ，由X的原始维度降低到了k维。
PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。但是这样投影以后对数据的区分作用并不大，反而可能使得数据点揉杂在一起无法区分。这也是PCA存在的最大一个问题，这导致使用PCA在很多情况下的分类效果并不好。具体可以看下图所示，若使用PCA将数据点投影至一维空间上时，PCA会选择2轴，这使得原本很容易区分的两簇点被揉杂在一起变得无法区分；而这时若选择1轴将会得到很好的区分结果。
PCA优缺点：
优点：
1. 最小误差
2. 提取了主要信息
缺点：PCA将所有的样本（特征向量集合）作为一个整体对待，去寻找一个均方误差最小意义下的最优线性映射投影，而忽略了类别属性，而它所忽略的投影方向有可能刚好包含了重要的可分性信息。
1.2 线性判别分析（LDA）
判别分析(Discriminant Analysis) 所追求的目标与PCA不同，不是希望保持数据最多的信息，而是希望数据在降维后能够很容易地被区分开来。后面会介绍LDA的方法，是另一 种常见的线性降维方法。另外一些非线性的降维方法利用数据点的局部性质，也可以做到比较好地区分结果，例如LLE，Laplacian Eigenmap等。以后会介绍。
LDA是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，核心思想：往线性判别超平面的法向量上投影，是的区分度最大（高内聚，低耦合）。LDA是为了使得降维后的数据点尽可能地容易被区分！
假设原始数据表示为X，（m*n矩阵，m是维度，n是sample的数量）
既然是线性的，那么就是希望找到映射向量a， 使得 a‘X后的数据点能够保持以下两种性质：
① 同类的数据点尽可能的接近（within class）
② 不同类的数据点尽可能的分开（between class）
所以呢还是上次PCA用的这张图，如果图中两堆点是两类的话，那么我们就希望他们能够投影到轴1去（PCA结果为轴2），这样在一维空间中也是很容易区分的。
PCA与LDA的区别：
主成分分析（Principal Component Analysis,PCA）可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。想象一个情况，对于图片分类样本而言，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。
而线性判别分析(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题。其中一个基本的想法就是，使类内方差最小的同时，使类外方差最大。
二、非线性映射
非线性映射方法的代表方法有：核方法（核+线性），二维化和张量化（二维+线性），流形学习（ISOMap，LLE，LPP）
2.1 基于核的非线性降维
代表方法有：KPCA，KFDA。
KPCA的基本思想：通过Kernel trick将PCA投影的过程通过内积的形式表达出来。将高维向量ϕ(x)与对应特向βϕ(x)与对应特向β的内积转换成低维的核函数表示。
2.2 流形学习
流形学习的主要算法有：ISOMap（等距映射）、LE（拉普拉斯特征映射）、LLE（局部线性嵌入）。
流形：直线或者曲线是一维流形，平面或者曲面是二维流形，更高维之后是多维流形。一个流形好比是 d 维的空间，是一个 m 维空间（m>n）被扭曲之后的空间。流形并不是一个“形状”，而是一个“空间”
流形学习的假设：数据采样于某一流形上。
2.2.1 ISOMap（等距特征映射）
ISOMap是一种非迭代的全局优化算法。ISOMap对MDS（Multidimensional Scaling-多维尺度分析）进行改造，用测地线距离（曲线距离）作为空间中两点距离，原来是用欧氏距离，从而将位于某维流形上的数据映射到一个欧氏空间上。
ISOMap将数据点连接起来构成一个邻接Graph来离散地近似原来流形，而测地距离则相应地通过Graph上的最短路径来近似了。
比如：我们将球体曲面映射到二维平面上。 此博客写得通俗易懂：http://blog.pluskid.org/?p=533
几点注意：
1）ISOMap适用的流形：适合于内部平坦的低维流形，不适合于学习有较大内在曲率的流形。
2）近邻数的选择：近邻数应足够大以便能够减少在路径长度和真实测地距离之间的不同，但要小到能够预防“短路”现象。
3）所构造图的连通性：要求所构造的图示连通的，否则有两种处理办法，一种是放宽临界点选择的限制，另一种是对于每一连通部分分别使用ISOMap算法，得到不同部分的降维结果。
数据到底是否分布于一个流形上？这是个暂时难以回答的问题。
MDS是一种降维方法，它在降维时使得降维之后的两点间的欧氏距离尽量保持不变 （用欧氏距离矩阵来表示高维向量的两两之间的相似度，寻找同样数量的映射维度的向量，使得映射维度下两两间距离约等于原高维下两两间距离，变为了优化问题）。
维基百科对MDS的介绍https://en.wikipedia.org/wiki/Multidimensional_scaling
2.2.2 LLE（局部线性嵌入）
前提假设：数据没有形成一个封闭的超曲面，局部数据点是线性的。
LLE（Locally Linear Embedding-局部线性嵌入）是一种非线性降维算法，它能够使降维后的数据较好地保持原有 流形结构 。LLE用局部线性反映全局的非线性的算法，并能够使降维的数据保持原有数据的拓扑结构。 （在流形上使用局部线性，并用有限局部样本的互相线性表示，得到几何特性的构造权重矩阵，在低维下找到满足高维时样本间构造权重的样本集）
使用LLE将三维数据（b）映射到二维（c）之后，映射后的数据仍能保持原有的数据流形（红色的点互相接近，蓝色的也互相接近），说明LLE有效地保持了数据原有的流行结构。
但是LLE在有些情况下也并不适用，如果数据分布在整个封闭的球面上，LLE则不能将它映射到二维空间，且不能保持原有的数据流形。那么我们在处理数据中，首先假设数据不是分布在闭合的球面或者椭球面上。
LLE算法认为每一个数据点都可以由其近邻点的线性加权组合构造得到。
算法的主要步骤分为三步：
① 寻找每个样本点的k个近邻点；
② 由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；
③ 由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。
LLE详细步骤如下：
1. 计算或者寻找数据点xi的临近数据点。
假设数据局部为平面，故可以用线性组合表示xi，其误差为：
其中wij表示线性重构xi时的贡献比例。
找到每个样本点的K个最近邻点。
2.计算构造权重并重构数据
通过约束计算wij，使得不在该样本点的K个最近邻点中的构造权重都为0.
重构权重使得重构的数据点与临近点间的旋转、缩放、平移特性保持不变，即几何特性不依赖于特定的参考框架。
3. 由重构样本向低维映射。（求低维嵌入）
设zz是低维空间，找到同样数量的低维映射样本，使得：
最小。（不去关心ϕ，直接找zi）
流形学习优缺点：
优点：假设流形的存在，部分解决了高维数据分布的问题。
缺点：假设流形的存在，不能总是适合数据特点。
三、小结
降维方法
- 属性选择：过滤法、包装法、嵌入法；
- 映射方法
- 线性映射方法：PCA、FDA等
- 非线性映射方法：
- 核方法：KPCA、KFDA等
- 二维化
- 流形学习：ISOMap、LLE、LPP等。
- 其他方法：神经网络和聚类
降维可以方便数据可视化+数据分析+数据压缩+数据提取等。
各个降维方法效果图展示：
作者：郭耀华
出处：http://www.guoyaohua.com
本文版权归作者和博客园所有，欢迎转载，转载请标明出处。
