【超级对齐】CriticGPT: LLM Critics Help Catch LLM Bugs

文章预览

超级对齐 类似ChatGPT这类大模型在构建过程中，在对齐阶段仍然需要大量的人工标注数据的参与，而最终模型的性能与标注数据的质量极其相关。当前gpt4在个别任务里面已经超越人类，大多数任务中的表现也很难找出明显的错误。那么未来当我们在构建超越人类智能的模型时，一方面意味着模型可以做人无法做到的事情，另一方面问题就是我们应该如何对这样的模型进行有效的对齐，显然它所需要的训练数据已经超越了我们人类专业知识的边界。或者说是非常接近人类智慧的边界，所以使得当前依赖大量标注数据对齐的方式不太能应用到这样的场景。上面所说的问题就是OpenAI的super-alignment团队要解决的问题。 好消息是当前模型已经能在部分任务中超越人类，比如说它非常的高效，相较于人工标注成本非常低廉；而且它拥有个人远远不及的知识量（ ………………………………