o1推理扩展的风吹到了RAG，性能飙升58.9%！

文章预览

以往的研究主要集中在通过 增加检索文档的数量或长度 来扩展检索增强生成（RAG）中检索到的知识。然而，仅增加知识量而不提供进一步的指导存在一定的局限性。 为此，Google DeepMind研究了 RAG 在 推理计算扩展（Inference Scaling） 情况下的性能，特别是当上下文很长时。 通过应用最优配置，在长上下文LLMs上扩展推理计算可以实现高达 58.9% 的性能提升。 用于RAG的 推理扩展策略 为了衡量推理计算，定义了有效上下文长度，即在LLM生成最终答案之前所有迭代中的输入token总数。对于大多数只调用LLM一次的方法，有效上下文长度等同于提示中的输入token数量，并受到LLM的上下文窗口限制。对于迭代调用LLM的方法，有效上下文长度可以通过策略无限扩展。 目标是理解RAG性能如何随着推理计算的扩展而变化。为此，引入了两种扩展策略： 示范基础RAG（DRAG） ………………………………