OpenAI“最后一篇”超级对齐论文发布：大小模型相互博弈，输出可读性up

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 让 大小模型相互博弈 ，就能实现生成内容可读性的提升！ 这是来自OpenAI的正经研究，目标就是在保证准确率的同时，让模型输出更容易被人理解。 用这种方法训练之后，人类对模型输出的判断准确率明显增长，速度也变得更快了。 这项研究出自OpenAI已解散的“超级对齐”团队，模仿了多伦多大学学者与2021年提出的 “证明者-验证者”（Prover-Verifier）博弈 。 在训练过程中，OpenAI让大模型担任“证明者”，小模型作为“验证者”，让这两种身份展开一场相互较量。 最终，大模型输出的结果不仅 更易理解，自身的准确率也没有明显损失 ，小模型的判断水平也提高了。 甚至论文作者之一、OpenAI研究员Yining Chen表示，这种方法“有可能使未来的模型比人类更聪明”。 值得一提的是，超级对齐团队原负责人、RLH ………………………………