10分钟快速了解机器学习核心算法-Gradient Boosting梯度提升！

文章预览

本文将深入探讨梯度提升（Gradient Boosting）这一机器学习算法。 它是XGBoost和LightGBM等热门框架的基础，这些框架在多个机器学习竞赛中都获得了很不错的成绩。 这篇文章将从集成学习的基础讲起，通过实例逐步解析梯度提升算法如何进行预测。 集成学习（Ensemble Learning） 集成学习是指通过训练和组合多个模型（通常是弱学习器）来创建一个预测能力更强的强学习器的过程。 实现这一目标的两种主要方法是袋装法（Bagging）和提升法（Boosting）。 1. Bagging Bagging通过对训练数据进行有放回的抽样，生成不同的子集，然后独立地在这些子集上训练多个弱学习器。回归任务的最终预测结果是各模型预测值的平均值，分类任务则通过多数投票得出。 例如，随机森林就利用袋装法在不同数据子集上训练多个决策树。 袋装法可以降低方差，使最终的集成模型更 ………………………………