综述！清华 && 剑桥 | 深入探讨大模型（LLMs）知识冲突的研究进展及挑战

文章预览

点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 随着人工智能和大型模型技术的迅猛发展，检索增强生成（Retrieval-Augmented Generation, RAG）已成为大型语言模型生成文本的一种主要范式。这种技术的代表 —— 检索增强的大型语言模型（Retrieval-Augmented Large Language Model, RALM）—— 能够直接利用检索得到的文档信息进行内容生成，无需进行额外的训练，这一优势使其在工业界得到了广泛应用，例如 New Bing 搜索引擎。 然而，自 2023 年起，RALM 在处理知识冲突方面面临的问题逐渐成为研究的焦点。知识冲突不仅严重影响了模型在知识密集型任务上的性能，也暴露了其在面对错误信息时的脆弱性，进而对模型的安全性构成威胁，尤其是在那些对事实准确性有着严格要求的应用场景中。知识冲突主要表现在模型内部的参数化知识与外部上下文信息之 ………………………………