所谓 CART 算法，全名叫Classification and Regression Tree，即分类与回归树。顾名思义，相较于此前的 ID3 算法和 C4.5 算法，CART除了可以用于分类任务外，还可以完成回归分析。完整的 CART 算法包括特征选择、决策树生成和决策树剪枝三个部分。

CART是在给定输入随机变量 X 条件下输出随机变量 Y 的条件概率分布的学习方法。CART算法通过选择最优特征和特征值进行划分，将输入空间也就是特征空间划分为有限个单元，并在这些单元上确定预测的概率分布，也就是在输入给定的条件下输出条件概率分布。

CART算法主要包括回归树和分类树两种。回归树用于目标变量为连续型的建模任务，其特征选择准则用的是平方误差最小准则。分类树用于目标变量为离散型的的建模任务，其特征选择准则用的是基尼指数(Gini Index)，这也有别于此前 ID3 的信息增益准则和 C4.5 的信息增益比准则。无论是回归树还是分类树，其算法核心都在于递归地选择最优特征构建决策树。

除了选择最优特征构建决策树之外，CART算法还包括另外一个重要的部分：剪枝。剪枝可以视为决策树算法的一种正则化手段，作为一种基于规则的非参数监督学习方法，决策树在训练很容易过拟合，导致最后生成的决策树泛化性能不高。

另外，CART作为一种单模型，也是 GBDT 的基模型。当很多棵 CART 分类树或者回归树集成起来的时候，就形成了 GBDT 模型。