决策树

xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。xgboost主要优点：xgboost不仅使用到了一阶导数，还使用二阶导数，损失更精确，还可以自定义损失；XGBoost的并行优化，XGBoost的并行是在特征粒度上的​​​​​​​；考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率......

由于CART算法可以做回归，也可以做分类，我们分别加以介绍，先从CART分类树算法开始，重点比较和C4.5算法的不同点。接着介绍CART回归树算法，重点介绍和CART分类树的不同点。然后我们讨论CART树的建树算法和剪枝算法，最后总结决策树算法的优缺点。

决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结。

决策树又叫判定树，是一种基本的分类与回归方法。通常分为3个步骤：特征（属性）选择、决策树的生成、决策树的修剪。

还在为如何抉择而感到纠结吗？快采用决策树（Decision Tree）算法帮你做出决定吧。决策树是一类非常强大的机器学习模型，具有高度可解释的同时，在许多任务中也有很高的精度。决策树在机器学习模型领域的特殊之处在于其信息表示的很清楚，而不像一些机器学习方法是个黑匣子，这是因为决策树通过训练学到的“知识”直接形成层次结构，该结构以这样的方式保存和显示学到的知识，即使是非专业人士也可以容易地弄明白。

现实生活中的决策树

一、基本流程