RLHF替冶扳房：米SFT由外，我街还么拒SFT数据芜隙么？

文章预览

作者：孙浩，PKU-MMLab-Cambridge｜RLBeliever 主页： https:// holarissun.github.io/ 原文： https:// zhuanlan.zhihu.com/p/69 9978994 编辑：青稞AI 我们最近的工作提出RLHF的一种廉价/实用的替代方案：Alignment from Demonstrations (AfD) 而非 Alignment from Preference-based Data。引入Inverse RL trajectory matching的视角，帮助理解了什么时候应该做SFT，什么时候应该更进一步地做 Reward Modeling，以及应该如何使用SFT数据进行Reward Modeling。 arXiv： https:// arxiv.org/pdf/2405.1562 4 1. Motivation：从SFT和专家数据讲起 在大语言模型对齐的任务中，我们已经熟悉了InstructGPT / Constitutional AI里面的那一套先SFT，后preference learning的框架模式，但是在很多现实场景中，给模型的输出打标记并不是一件容易的事情。在做RLHF相关工作的早期，我尝试过用GPT3.5给一些SFT过的模型输出做标记，这个信噪比太低了，即使是用价格 ………………………………