ICML 2024｜为什么我们应该做online RLHF/DPO？

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Wei Xiong@知乎 来源丨https://zhuanlan.zhihu.com/p/688806682 编辑丨极市平台 极市导读   如何通过人类反馈来优化和引导强化学习模型，使其更好地符合人类的价值观和期望？   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 01 偏好学习与对齐 去年十月份左右开始写了一篇文章 Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint，文章主要包括两个部分，一个是想要做整个 RLHF 的理论，另一个是想展现在 RLHF 中加入 online data 的好处，从而启发大家在这个方向进行探索（而不是不停的设计 offline 算法的变种）。 论文链接： https://arxiv.org/pdf/2312.11456 最近正好刚刚写完一个关于奖励函数训练的文章，于是决定一起写一篇文章来介绍一下最近的这个工作。 文章中会有一些数学，我尽量把数学 ………………………………