2024年大模型Alignment偏好优化技术：从PPO, SPO到MCTS-DPO

主要观点总结

本文综述了大型模型对齐技术，介绍了多种对齐方法，包括PPO、DPO及其变体（KTO、ORPO、SimPO、TDPO、Step-DPO、DMPO、SPO和MCTS-DPO等）。这些方法旨在通过不同的优化手段提高大型语言模型与人类价值观和意图的一致性。文章还涉及模型安全及Agents应用等场景。总结部分提到，大模型的Alignment现在集中在损失函数的修改、RL理论的集成和数据的合成上，训练方法趋向简单，并猜测未来可能出现环境交互训练的趋势。

关键观点总结

关键观点1:

关键观点2:

关键观点3:

关键观点4:

文章预览

↑ 点击 蓝字  关注极市平台 作者丨吴高升 来源丨PaperWeekly 编辑丨极市平台 极市导读   本文讨论了2024年大模型Alignment偏好优化技术的发展，包括从PPO、SPO到MCTS-DPO的各种技术，涉及模型安全和Agents应用，以及如何通过不同的优化方法提高大型语言模型与人类价值观和意图的一致性。文章还介绍了一些最新的优化技术，如KTO、ORPO、SimPO、TDPO、Step-DPO、DMPO和SPO，以及它们在提高模型性能方面的应用和效果。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 今年做过一段时间的 alignment 工作，做得有点不开心，各种 social 的原因，觉得自己的发挥受到了限制，最近又闲下来了，所以看了一些相关的论文，但是对这个方向还是挺感兴趣的，这里来分享一下我对 alignment 的一些理解。 对齐一般使用的是 chat 或者 instruct 模型，而不是 base 模型，自从 OpenA ………………………………