如何向10岁小孩解释XGBoost回归算法

文章预览

刚开始探索理解机器学习算法时，我会被所有数学内容弄得不知所措。我发现，如果没有完全理解算法背后的直觉，就很难理解其中的数学原理。所以，我会倾向于那些将算法分解成更简单、更易理解的步骤。这就是我今天尝试做的事情，以一种即使10岁小孩也能理解的方式来解释XGBoost算法。开始吧！ 让我们从训练数据集开始，这个数据集包含了5个样本。每个样本记录了他们的年龄（AGE）、是否有硕士学位（MASTER'S DEGREE），以及他们的工资（SALARY）（以千为单位），目标是使用XGBoost模型预测工资。 image-20240713183042081 步骤1：做一个初步预测并计算残差 这个预测可以是任何值。但是让我们假设初步预测是我们想要预测的变量平均值。 image-20240713183454659 我们用如下公式计算残差（Residuals）： 残 差 观 测 值 预 测 值 在这里，我们的观测值是 Salary 列 ………………………………