COLM 24 | 从正确中学习？大模型的自我纠正新视角

文章预览

本文作者来自香港城市大学和华为诺亚方舟实验室。其中，第一作者姚宇璇是香港城市大学计算机系的二年级博士生，研究方向涉及大模型的复杂推理和生成，师从宋林琦教授。吴涵，郭志江是华为诺亚方舟实验室研究员。 大型语言模型（LLMs）虽然进展很快，很强大，但是它们仍然存在会产生幻觉、生成有害内容和不遵守人类指令等问题。一种流行的解决方案就是基于【自我纠正】，大概就是看自己输出的结果，自己反思一下有没有错，如果有错就自己改正。目前自己纠正还是比较关注于让大模型 从错误中进行学习 。更多相关内容可以参考这篇 TACL 的 survey [1]。 但是呢，现有的很多自我纠正的方法依赖于复杂的 prompt engineering，人类反馈，或外部工具，但这些方法往往比较麻烦（试 prompt），不稳定（换了个模型 prompt 可能就要修改了），昂贵（ ………………………………