RLHF替代方案：在SFT以外，我们还能拿SFT数据做什么？

文章预览

作者：孙浩，PKU-MMLab-Cambridge｜RLBeliever 主页：https://holarissun.github.io/ 原文：https://zhuanlan.zhihu.com/p/699978994 编辑：青稞AI 我们最近的工作提出RLHF的一种廉价/实用的替代方案：Alignment from Demonstrations (AfD) 而非 Alignment from Preference-based Data。引入Inverse RL trajectory matching的视角，帮助理解了什么时候应该做SFT，什么时候应该更进一步地做 Reward Modeling，以及应该如何使用SFT数据进行Reward Modeling。 arXiv：https://arxiv.org/pdf/2405.15624 1. Motivation：从SFT和专家数据讲起 在大语言模型对齐的任务中，我们已经熟悉了InstructGPT / Constitutional AI里面的那一套先SFT，后preference learning的框架模式，但是在很多现实场景中，给模型的输出打标记并不是一件容易的事情。在做RLHF相关工作的早期，我尝试过用GPT3.5给一些SFT过的模型输出做标记，这个信噪比太低了，即使是用价格相对便 ………………………………