决策树

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。xgboost主要优点：xgboost不仅使用到了一阶导数，还使用二阶导数，损失更精确，还可以自定义损失；XGBoost的并行优化，XGBoost的并行是在特征粒度上的​​​​​​​；考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率......

由于CART算法可以做回归，也可以做分类，我们分别加以介绍，先从CART分类树算法开始，重点比较和C4.5算法的不同点。接着介绍CART回归树算法，重点介绍和CART分类树的不同点。然后我们讨论CART树的建树算法和剪枝算法，最后总结决策树算法的优缺点。

决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结。

决策树又叫判定树，是一种基本的分类与回归方法。通常分为3个步骤：特征（属性）选择、决策树的生成、决策树的修剪。

还在为如何抉择而感到纠结吗？快采用决策树（Decision Tree）算法帮你做出决定吧。

一、基本流程