RAG还是长上下文LLM？一个混合方法

文章预览

24年7月来自谷歌deepmind和密西根大学的论文“Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach”。 检索增强生成 (RAG) 一直是大语言模型 (LLM) 有效处理过长上下文的强大工具。然而，最近的 LLM 如 Gemini-1.5 和 GPT-4 表现出直接理解长上下文的卓越能力。对 RAG 和 长上下文 (LC) LLM 进行全面比较，旨在充分发挥两者的优势。用三个最新的 LLM 在各种公共数据集上对 RAG 和 LC 进行基准测试。结果表明，在资源充足的情况下，LC 的平均性能始终优于 RAG。然而，RAG 显著更低的成本仍然是一个明显的优势。 基于以上观察，提出 SELF-ROUTE ，一种简单而有效的方法，它基于模型 自我反思 将查询路由到 RAG 或 LC。SELF-ROUTE 显著降低计算成本，同时保持与 LC LLM 相当的性能。 对长上下文 (LC) LLM 和 检索增强生成 (RAG) 进行系统比较：一方面，RAG 在 ………………………………