DPO，RM，RLHF 傻傻分不清楚

文章预览

今天给大家带来一篇曹宇兄的文章，带你进一步 理解什么是大语言模型的对齐 。 知乎：https://zhuanlan.zhihu.com/p/718913850 DPO 的论文引用最近已经破千了，成了斯坦福的Chelsea Finn组的机器人超猛PhD学生R.M. Rafailov的第一被引论文。又由于第二梯队的大模型频繁提及DPO的变种，DPO+RM的用法未来估计机器人界的思潮对于LLM的正向影响不会削弱。 按照我平时使用的体验，我们可以将当前的主要头部三强划分为第一梯队，头部开源三强划分成为第二梯队，再加上我一直比较关心的应用侧玩家Apple。 可以发现几点： 超头部玩家的对齐策略清一色的还是RL类方法 开源头部玩家采用DPO的较多 不论是什么PO，基本都是采用了和RM结合的xPO + RM的做法，没有纯原始DPO的玩法 大多数对齐玩家都使用了多阶段对齐的策略 这个其实就让很多小伙伴很疑惑了，明明DPO的宣言是Your l ………………………………