ACL 2024 | 浙大等团队提出「自我对比」策略，有效提高大模型的反思效果

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 大型语言模型（LLM）的自我反思能力受到了广泛关注。例如 Reflexion，Self-Refine 等 prompt 策略让 LLM 基于自我评估或外部的反馈来改善 LLM 的输出质量。但是，最新研究显示，在缺乏外部反馈的情况下，LLM 内在的反思能力是十分不稳定的，有时候甚至会产生负面的效果，尤其是在数学推理等复杂场景。 来自浙江大学的研究者发现，LLM 自我反思的关键在于自我评估（self-evaluate）时的 feedback 的质量。他们注意到，LLM 在自我评估时常表现出过度自信（Overconfident）或高度随机性（Inconsistent），即 LLM 往往会提供十分顽固或很随机的 feedback，从而导致反思效果不理想。 为了提高 LLM 的内在反思能力，作者们提出了一种新颖的自我对比（Self-Contrast）策略：它根据用户输入的问题，探索多种不同的解题视角 ………………………………