Kaggle知识点：量化训练GBDT

文章预览

近年来，梯度提升决策树（GBDT）在各种机器学习应用中取得了显著成功。传统上，GBDT的训练算法使用高精度浮点数来计算梯度和统计信息。 本论文探讨了一个之前文献中基本被忽视的重要问题——训练GBDT需要多少位来表示梯度？为了解决这个问题，作者提出在GBDT的训练算法中对所有高精度梯度进行量化。 作者提出了一种简单但有效的方法来量化梯度。他们的理论分析和实证研究表明，在不损害性能的情况下，所需的梯度精度可以很低，例如2或3位。使用低精度梯度，大多数算术运算可以被8位、16位或32位的整数运算替代。 unset unset 背景介绍 unset unset GBDT是一种强大的机器学习算法，尽管近年来深度学习取得了很大成功，GBDT仍然在许多现实任务中（如在线广告、搜索排名、金融预测等）表现出色。工具如XGBoost、LightGBM和CatBoost的设计进一步增强了 ………………………………