什么是大模型所需要的知识？人大提出DPA-RAG高效对齐检索器与大模型偏好

文章预览

论文标题： Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation 论文链接： https://arxiv.org/pdf/2406.18676 代码链接： https://github.com/dongguanting/DPA-RAG 检索器与大模型存在偏好差异吗？ 在理想的检索增强生成（RAG）系统，我们希望大语言模型（LLM）通过参考与其知识偏好一致的文档来增强他的推理能力。然而在实际应用中，检索器和大模型作为 RAG 系统的两个独立组件，具有不同的模型架构、训练目标和任务范式。这些差异导致基于向量相似度检索的文档难以完全匹配 LLMs 推理时的知识需求。除此以外，检索到的文档甚至可能与 LLMs 的自身知识冲突，破坏 LLM 原有的推理能力。 如图所示，我们对 GPT-3.5 在三个 QA 数据集上比较了两种实验设置：让大模型直接回答问题和参考不同相似度的检索文档回答问题，每个问题的结果可以分为四种情况 ………………………………