有位大佬很清晰的解释了梯度提升算法的内核

文章预览

预测模型是最常用的机器学习模型之一。梯度提升（Gradient Boosting）因其预测速度和准确性，特别是在处理大型复杂数据集时，表现尤为出色。从Kaggle竞赛到商业机器学习解决方案，这种算法都能产生最佳结果。它是一种提升方法，更广为人知的名称是梯度提升机（Gradient Boosting Machine，简称GBM）。在本文中，我将讨论梯度提升算法背后的数学原理、代码实现和参数优化。 什么是提升（boosting）算法 在学习机器学习的过程中，你一定听说过一个叫做“提升”（boosting）的术语。它是数据科学领域中被误解最多的术语。提升算法背后的原理是：我们首先在训练数据集上建立一个模型，然后建立第二个模型来纠正第一个模型中的错误。让我尝试向你解释这到底意味着什么，以及它是如何工作的。 image-20240529195358051 如上图，假设你有n个数据点和2个输出类 ………………………………