机器学习

来源：微信号 - 机器学习与统计学（tjxj666）：统计学家。文末附高清大图下载链接

深度学习作为机器学习的子集，它和普通机器学习之间到底有什么区别呢？作者使用了一种很普通的方式来回答这个问题。

我们知道，机器学习的一大任务是”分类”。我们构建了一个分类模型，通过训练集训练好后，那么这个分类模型到底预测效果怎么样呢？那就需要进行评估验证。

本文的目标是在流行的、传统的预测建模系统（如基于静态数据集训练的线性和树型模型）的上下文中，对潜在的安全漏洞和防御方法进行头脑风暴。虽然我不是安全专家，但我一直在密切关注机器学习的调试、解释、公平性、可解释性和隐私等领域。我认为这些领域中的许多技术可以应用于攻击和防御预测性模型系统。

Gartner最近的一项调查显示，很多公司才刚刚开始机器学习之旅，而37%的组织已经实施了人工智能。如果你已经准备好接受机器学习，你可能先要评估十个问题或评估人工智能、机器学习和深度学习的完整指南，然后才能对机器学习进行概念验证。

说到分类就要说到线性可分和线性不可分。这是属于模式识别中的概念。在欧几里德几何中，线性可分是一组点的集合性质。最容易描述的情况是在二维平面中，有一些点，分别是红色的点和蓝色的点。如果我们可以使用一条直线将不同颜色的点分开，那么这些点就是线性可分的......

在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等，本文将对其中某些指标做简要介绍。

一个完整的机器学习项目一般流程包括： 1、抽象成数学问题；2、数据获取及分析；3、数据预处理；4、特征工程；5、训练模型选择与调优；6、后处理；7、模型评估。

EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。

K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。