大模型日报（6月27日 学术篇）

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 WARP: 关于加权平均奖励策略的好处 摘要：人类反馈强化学习（RLHF）通过鼓励大型语言模型（LLMs）生成高奖励内容，利用人类偏好训练的奖励模型来对齐它们。为了防止预训练知识的遗忘，RLHF通常包括KL正则化；这迫使策略保持接近其监督微调初始化，尽管它阻碍了奖励优化。为了解决KL和奖励之间的权衡，本文介绍了一种称为Weight Averaged Rewarded Policies（WARP）的新对齐策 ………………………………