机器学习

在 <a href="http://imgtec.eetrend.com/blog/2019/100044080.html">XGBoost算法原理小结</a&gt; 中，我们讨论了XGBoost的算法原理，这一片我们讨论如何使用XGBoost的Python类库，以及一些重要参数的意义和调参思路。

机器学习(深度学习)跟编程范式以及处理的数据等方面根传统的编程有较大不同，需要学习或准备转型做这个领域的需要引起足够的关注。

是否需要人工构造特征，这应该是深度学习和传统机器学习的最明显的差异。feature engining是传统机器学习中的一个重要组成部分，sift，hog，wavelet等都是解决如何描述数据的问题。深度学习兴起后，feature engining的研究几乎停滞，而end-to-end成为一个新兴的研究方向。

要做机器学习项目，第一重要的就是数据！那如何来准备机器学习要用的数据就成了第一要做的事情，巧妇难为无米之炊，今天就来教大家如何成为巧妇（夫）。

机器学习算法一般都会有训练和测试的过程，而且算法在不同训练集上学得的模型，测试的结果也很可能不同。一般来说，算法的方差衡量了训练集的变动导致的模型性能的变化，即多次训练的模型之间的性能差异性。偏差则是度量算法的期望输出与真实标记的区别，表达了学习算法对数据的拟合能力。而噪声则表示数据的真实标记与数据在数据集上标记的区别，表明算法在当前任务上能达到的测试误差的下界。

本篇博客主要是基于花书（古德费洛的《Deep Learning》）和西瓜书（周志华的《机器学习》）撰写的，其中插入了博主的一些个人见解，如有不对之处希望大家指出来一起来讨论一下嘿嘿，万分感谢。

过去，机器学习这个名词的头上曾经笼着科学的光环，只有少数高薪数据科学家才懂得如何用数据“喂养”复杂的算法，得出有用的分析结果。但如今随着自动化工具的快速发展，数据的采集、结构化和分析已经变得更加容易，机器学习的使用门槛已经大幅降低，即使那些不懂编程的业务人员，只要能提出正确的问题，同样也能用机器学习工具得到想要的结果。

入门机器学习，总有几张图片，令人印象深刻。以下是十张经典图片，图解机器学习，非常有启发性。

xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。xgboost主要优点：xgboost不仅使用到了一阶导数，还使用二阶导数，损失更精确，还可以自定义损失；XGBoost的并行优化，XGBoost的并行是在特征粒度上的​​​​​​​；考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率......

机器学习模型的好坏取决于你所拥有的数据。这就是为什么数据科学家可以花费数小时对数据进行预处理和清理。他们只选择对结果模型的质量贡献最大的特征。这个过程称为“特征选择”。特征选择是选择能够使预测变量更加准确的属性，或者剔除那些不相关的、会降低模型精度和质量的属性的过程。