监督学习

最近邻：​ 适用于小型数据集，是很好的基准模型，很容易解释；线性模型：非常可靠的首选算法，适用于非常大的数据集，也适用于高维数据。

随着机器学习问题不断深入人心，人们也将现实中遇到不同的问题分为不同的学习方式，其中，最基础的应属监督学习，无监督学习和强化学习了。

机器学习分为：监督学习，无监督学习，半监督学习（也可以用hinton所说的强化学习）等。本文主要理解一下监督学习和无监督学习。

KNN算法，即K近邻算法是一种监督学习算法，本质上是要在给定的训练样本中找到与某一个测试样本A最近的K个实例，然后统计k个实例中所属类别计数最多的那个类，就是A的类别。 从上面一句话中可以看出，KNN的原理非常简单粗暴，而且是一种“在线”的学习方式，即每一次分类都需要遍历所有的训练样本，此外KNN算法还有几个要素：K，距离，分类决策规则。

K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。