决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

文章预览

作者：ChrisCao https://zhuanlan.zhihu.com/p/75468124 一. 决策树 决策树是一个有监督分类模型，本质是选择一个最大信息增益的特征值进行输的分割，直到达到结束条件或叶子节点纯度达到阈值。下图是决策树的一个示例图： 根据分割指标和分割方法，可分为：ID3、C4.5、CART算法。 1.ID3算法：以信息增益为准则来选择最优划分属性 信息增益的计算是基于信息熵（度量样本集合纯度的指标）  信息熵越小，数据集   的纯度越大 假设基于数据集   上建立决策树，数据有   个类别： 公式(1)中：  表示第K类样本的总数占数据集D样本总数的比例。 公式(2)表示是以特征A作为分割的属性，得到的信息熵：Di表示的是以属性A为划分，分成n个分支，第i个分支的节点集合。因此，该公式求得的是以属性A为划分，n个分支的信息熵总和。 公式(3)是以A为属性划分前和划分 ………………………………