RAG真能提升LLM推理能力？人大最新研究：数据有噪声，RAG性能不升反降

文章预览

   新智元报道   编辑：LRST 【新智元导读】 RAG通过纳入外部文档可以辅助LLM进行更复杂的推理，降低问题求解所需的推理深度，但由于文档噪声的存在，其提升效果可能会受限。中国人民大学的研究表明，尽管RAG可以提升LLM的推理能力，但这种提升作用并不是无限的，并且会受到文档中噪声信息的影响。通过DPrompt tuning的方法，可以在一定程度上提升LLM在面对噪声时的性能。 近年来，大语言模型已经在多种任务上表现出来出色的能力，然而，由于缺乏事实性信息，当前的LLM经常出现严重的幻觉现象；此外，LLM中的知识是通过其参数进行编码记忆，这意味着要融入新知识需要进一步的微调，消耗大量的时间与计算资源。因此，通过结合外部检索器来增强LLM的性能，已经成为了主流的方案。 尽管RAG在现代LLM中被广泛采用，但对于RAG如何辅助推理的 ………………………………