长视频生成、尝试性检索、任务推理 | Big Model Weekly 第56期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 COMAL:AConvergent Meta-Algorithm for Aligning LLMs with General Preferences 许多对齐方法，包括基于人类反馈的强化学习（RLHF），依赖于布拉德利-特里（Bradley-Terry）奖励假设，然而这一假设无法充分捕捉人类偏好的全范围。为了实现与一般偏好的稳健对齐，本文将对齐问题建模为一个二人零和博弈，其中纳什均衡策略能够保证在对抗任何竞争策略时的胜率达到50%。然而，以往用于寻找纳什策略的算法要么发散，要么收敛到修改后的博弈中的纳什策略，即使在简单的合成环境中，也无法保持对所有其他策略的50%胜率保证。本文提出了一种用于语言模型与一般偏好对齐的元算法——收敛性元对齐算法（Convergent Meta Alignment Algorithm, COMAL），其灵感来源于博弈论中的收敛算法。理论上，本研究证明该元算法在最终迭 ………………………………