一文详解机器学习中最好用的提升方法：Boosting 与 AdaBoost

文章预览

选自 | towardsdatascience 参与 | Geek AI、Chita 本文经机器之心授权转载，禁二次转载 在 Kaggle 及其它机器学习任务中，集成方法非常流行，不论是 还是随机森林，它们都强大无比。而本文作者从最基础的 Boosting 概念到 AdaBoost 算法进行了详细的介绍，并展示了如何实现 AdaBoost，这些都是走进集成方法大家族的敲门砖。 最近， Boosting 技术在 Kaggle 竞赛以及其它预测分析任务中大行其道。本文将尽可能详细地介绍有关 Boosting 和  AdaBoost 的相关概念。 本文将涉及： 对 bagging（装袋法）的快速回顾 bagging 的局限性 Boosting 的概念细节 boosting 的计算效率 代码示例 Bagging 的局限性 接下来，我们不妨考虑一个二元分类问题。我们把一个观测结果分类为 0 或 1。尽管这并不是本文的目的，但是为了清晰起见，让我们回顾一下 Bagging 的概念。 Bagging 指的是一种叫做「Boot ………………………………