文章预览
之前做了不少算法在不同情况下的对比,今天想要和大家聊聊的是关于 GBDT 与 LightGBM 的内容~ 首先咱们从简单的一个介绍开始,GBDT 和 LightGBM 都属于 梯度提升树 模型,它们是集成学习中的一种方法,通过构建多个弱学习器(通常是决策树)来提升整体的预测效果。 这两者的核心思想是:每棵新树都在减少之前模型的误差,最终形成一个强大的模型。 GBDT : GBDT通过多棵树的梯度加权提升来减少误差。其优点是高精度和较好的泛化能力,但缺点是训练速度较慢,尤其在处理大数据时。 LightGBM : LightGBM是GBDT的改进版本,通过优化树的构建过程,采用基于直方图的方法和叶子增长策略来大幅加速训练,同时降低内存消耗,因此更适合大规模数据和高维度问题。 核心原理 GBDT 原理 GBDT是一种集成学习算法,它使用多个决策树模型的加权组合来做预测
………………………………