DPO的局限性讨论：理论和实践

文章预览

作者：ybq 链接：https://zhuanlan.zhihu.com/p/717586003 其他补充作者：朱小霖，包包 补充链接：https://zhuanlan.zhihu.com/p/671780768 最近又认真读了一遍大佬的文章《DPO 是如何简化 RLHF 的》作者：朱小霖 原文： 最近通过 Mistral AI 7Bx8 模型的发布，我才后知后觉地了解到了 DPO（Direct Preference Optimization）这个算法，发现他用了一种很巧妙的思路，将 RLHF 的 2 阶段多个模型的训练简化为了 1 阶段的 SFT 训练。在这里简单总结一下。 那么介绍 DPO 做了哪些简化之前，首先要提一下我们一般认为的 RLHF 是咋训练的。RLHF 一般会分 2 步: 第一步是训练 reward model。训练数据是同一个 prompt 的 2 个回答，让人或 GPT4 标注哪个回答更好，reward model 会去优化如下的 loss： 其中 就是 reward model 用来给回答打分。 是训练数据集， 是 prompt， 和 分别是好的回答和不好的回答。也就是 ………………………………