为什么检索增强生成（RAG）在获取新知识方面优于微调？

文章预览

最近在测试RAG相关产品，看了一些文章，发现之前对RAG实力 的 认识还是粗浅了 。 RAG 的优势 虽然 RAG 和微调都可以用于将新信息整合到 LLM 并提高特定任务的性能，但研究表明， 对于训练期间遇到的知识以及全新知识，RAG 的表现始终优于无监督微调（也称为持续预训练） 。一项研究比较了 RAG 和无监督微调在 MMLU 子集和时事上的表现，发现 RAG 的表现始终优于微调。另一篇论文将 RAG 与农业数据集上的监督微调进行了比较，结果表明，RAG 带来的性能提升大于微调，特别是对于 GPT-4。 除了性能提升之外，与微调相比，RAG 还具有以下几个 实际优势 ： 易于更新： 与需要对模型进行重新训练的连续预训练或微调相比，更新检索索引更容易、成本也更低。 控制和可解释性： 如果检索索引中存在包含有害或偏见内容的有问题文档，可以轻松删除或修改 ………………………………