Big Model weekly | 第40期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 Reward-Robust RLHF in LLMs 随着大型语言模型（LLMs）不断向更高级的智能形式发展，基于人类反馈的强化学习（RLHF）越来越被视为实现人工通用智能（AGI）的关键途径。然而，对基于奖励模型（RM-based）的对齐方法的依赖带来了显著挑战，因为奖励模型的不稳定性和不完美性可能导致关键问题，如奖励黑客攻击和与人类意图的错位。在本文中，作者介绍了一个旨在解决这些基本挑战的奖励稳健的RLHF框架，为LLMs中更可靠和更有韧性的学习铺平了道路。本研究的方法引入了一个新颖的优化目标，通过纳入贝叶斯奖励模型集成（BRME）来模拟奖励函数的不确定性集合，从而仔细平衡性能和稳健性。这使得框架能够整合名义性能和最低奖励信号，即使在奖励模型不完美的情况下也确保更稳定的学习。实证结 ………………………………