AAAI 2025 | 通义实验室提出基于辩论的弱监督对齐强模型方法，探索超级对齐新范式

文章预览

本研究提出了一种 基于辩论的弱监督对齐强模型方法 ，探索了结合 scalable oversight 和 weak-to-strong generalization 解决超级对齐问题的新范式。 论文标题： Debate Helps Weak-to-Strong Generalization 论文作者： 郎皓、黄非、李永彬 收录会议： AAAI 2025 (Special Track on AI Alignment, Oral) 论文链接： https://arxiv.org/abs/2501.13124 Highlights : 提出结合 scalable oversight 和 weak-to-strong generalization 的新方法，在 OpenAI 的 weak-to-strong 数据集取得更好的对齐效果。 验证了辩论可更可靠从预训练大模型中抽取可信知识，并用于帮助训练弱监督模型。 验证了弱模型的 ensemble，可帮助获得更可靠的监督信号。 背景 目前 AI 对齐技术依赖于人类的标注数据，譬如用于 supervised finetuning 的 human demonstrations，亦或是用于 RLHF 和 DPO 的 human preferences。 未来超人模型（superhuman models）在一些领域会超越人类 ………………………………