DPO，RM，RLHF 傻傻分不清楚

文章预览

知乎 ：曹宇 链接 ：https://zhuanlan.zhihu.com/p/718913850 编辑 ：AI椰青 | 深度学习自然语言处理 公众号 纯学术分享，侵删 DPO 的论文引用最近已经破千了，成了斯坦福的Chelsea Finn组的机器人超猛PhD学生R.M. Rafailov的第一被引论文。又由于第二梯队的大模型频繁提及DPO的变种，DPO+RM的用法未来估计机器人界的思潮对于LLM的正向影响不会削弱。 按照我平时使用的体验，我们可以将当前的主要头部三强划分为第一梯队，头部开源三强划分成为第二梯队，再加上我一直比较关心的应用侧玩家Apple: 可以发现几点： 超头部玩家的对齐策略清一色的还是 RL 类方法。 开源头部玩家采用 DPO 的较多。 不论是什么 PO，基本都是采用了和 RM 结合的 xPO + RM 的做法，没有纯原始 DPO 的玩法。 大多数对齐玩家都使用了多阶段对齐的策略。 这个其实就让很多小伙伴很疑惑了，明明 DP ………………………………