关于大语言模型幻觉的综述

文章预览

23年9月来自腾讯实验室、TTI和几所大学的大语言模型幻觉综述“Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models“。 摘要 ：虽然大语言模型（LLM）在一系列下游任务中表现出非凡的能力，但一个重要的问题围绕着出现幻觉的倾向：LLM偶尔会生成与用户输入不同的内容，与先前生成的文本相矛盾，或与既定的世界知识不一致。这种现象对LLM在现实世界中的可靠性提出了实质性挑战。本文调查最近在检测、解释和缓解幻觉方面的努力，重点是LLM带来的独特挑战。文中提出LLM幻觉现象的分类法和评估基准，分析旨在减轻LLM幻觉的现有方法，并确定未来研究的潜在方向。 由于LLM的多功能性，将LLMs背景下的幻觉分类如下： • 输入冲突幻觉，LLM生成的内容偏离用户提供的源输入; •上下文冲突幻觉，LLM生成的内容与先前生成的信息本身冲突; ………………………………