RAAT：通过自适应对抗和多任务学习增强RAG系统抗噪（3大类）能力！

文章预览

RAG通过整合外部数据库中的知识来缓解 LLM面临诸如幻觉、过时知识等问题。 检索到的不适当段落 会阻碍LLMs生成全面和高质量的响应。以往 RAG研究通常限于有限的噪声类型 ，这与现实世界的检索环境不符，限制了实际应用性。 一个将RAG应用于问答的例子。模型能够通过准确的检索文本预测出正确答案。然而，当检索到的 文本包含误导性或不准确的信息时 ， 它无法产生正确的答案 。 首先调研真实世界环境检索噪声，将其分类为三种不同类型： 表面相关但缺乏正确答案的上下文（相关检索噪声：Relevant retrieval noise）。 与查询无关的上下文（无关检索噪声：Irrelevant retrieval noise）。 与查询主题相关但包含错误信息的上下文（反事实检索噪声：Counterfactual retrieval noise）。 不同类型检索噪声下各种模型的精确匹配（EM）得分。 "Golden Context"表示LLMs在 ………………………………