LLM自对齐技术最新研究分享：Multi-agent 对齐

文章预览

LLM 自对齐技术最新研究进展分享 系列文章继续更新啦！本系列文章将基于下图的架构，对当前 Self-alignment 相关工作进行全面梳理，厘清技术路线并分析潜在问题。 在前面的两篇文章中，我们分别探讨了 “ 如何让 LLM 合成 Instructions ”和“ 如何让 LLM 采集 Response ”，对于“对齐 Pipeline 数据合成”路线的 Self-alignment，我们需要关注的两大问题已全部有了答案。 本文我们将继续探讨 Self-alignment 的另一实现路线—— Multi-agent 对齐 。 除了对对齐 Pipline 的数据进行合成，另外一种新兴的方式就是依赖于多智能体的互动交互进行对齐。这里互动交互的方式根据组织关系可以分为对抗与协作两个大类。 对抗 Self-Play 指的是 LLM 自己在游戏中通过与其他 LLM 进行竞争对抗，来不断提高某方面的能力。这里游戏和对抗关系的设计多种多样，代表性的有如下几种 ………………………………