什么！SFT完全没用！

文章预览

知乎：莫笑傅里叶 链接：https://zhuanlan.zhihu.com/p/744847498 Google Deepmind: Training Language Models to Self-Correct via Reinforcement Learning 解决了什么问题： 让大模型学习自我矫正，从而提升LLM输出性能。 现有方法： Prompt Engineering SFT (Supervised Fine-Tuning) 一般都会推理多次，用一个verifier来判别最终的输出。 有效的verifier一般只局限于有强外部反馈的任务中，诸如代码问题，把代码跑一遍能得出哪里报错。 如果没这种强外部反馈的任务，目前的方法中LLM的self-correct能力基本为0。 为什么SFT无法实现self-correct？ 我们展示了 SFT 方法的两个明显失败来源： SFT 倾向于学习一种做出微小更改的校正行为模式，由于分布偏移，导致模型对响应的self-correct能力下降。 离线的SFT可能无法有效地利用额外的上下文tokens来学习细微的算法行为。这是由于训练数据中的分布偏移所带来的 ………………………………