清华、智谱团队：探索 RLHF 的 scaling laws

文章预览

基于人类反馈的强化学习（RLHF）是优化大语言模型（LLM）行为的关键技术，能够让模型更符合人类偏好和需求，提升生成质量。 然而， 目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏 ，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题， 来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究，并提出了优化策略 。 论文链接：https://arxiv.org/abs/2412.06000 主要结论如下： 数据的多样性和规模 ：增加训练数据的多样性和数量能够显著提升奖励模型（RM）的性能； 策略训练的效率 ：初期增加响应样本能够提高策略训练效果，但收益会迅速趋于平稳； RLHF 的 scaling 效率低于预训练 ：RLHF 的计算资源投入带来的回报递减，整体 scaling 效率低于模型预训练阶段。 这一研究为优化 RLHF 在 ………………………………