强强联合！当RAG遇到长上下文，滑铁卢大学发布LongRAG，效果领先GPT-4 Turbo 50%

文章预览

来源 | 夕小瑶科技说 过犹不及 ——《论语·先进》 大学考试时，有些老师允许带备cheet sheet（忘纸条）,上面记着关键公式和定义,帮助我们快速作答提高分数。传统的检索增强生成(RAG)方法也类似,试图找出精准的知识片段来辅助大语言模型(LLM)。 但这种方法其实有问题。因为: LLM没有"老师划重点",需要自己在海量信息中寻找答案。 RAG是两步走:先检索,再生成。如果第一步检索就出错,再好的生成也难以弥补。 过分追求精准的知识片段,反而可能限制了模型的发挥空间。 所以, 与其苛求检索结果的精准性,不如给模型提供更丰富的上下文信息,让它自己去理解和提炼关键知识。这样可能效果会更好。 那有没有可能让LLM不要cheet sheet，直接参加“开卷考”呢？随着现在长上下文技术（LongContext）日渐成熟，让LLM干脆带着“书”来回答问题开始成为可能。 滑铁 ………………………………