文章预览
在早期代语言模型（LLMs）的有限上下文限制中，检索增强生成（RAG）一直是过去基于上下文的答案生成的可靠解决方案。 最近，长文本LLMs的出现允许模型整合更长的文本序列，使RAG变得不那么吸引人。 最近的研究表明，长文本LLMs在长文本应用中显著优于RAG。 与现有工作支持长文本LLMs而不是RAG不同，我们认为LLMs中的极长文本上下文会减少对相关信息的关注，导致答案质量的潜在下降。 本文重新审视了长文本答案生成中的RAG。 我们提出了一种顺序保持的检索增强生成（OP-RAG）机制，它显著提高了RAG在长文本问答应用中的性能。 有了OP-RAG，随着检索到的块数量的增加，答案质量最初上升，然后下降，形成了一个倒U形曲线。 存在一个甜蜜点，OP-RAG可以在比长文本LLMs少得多的token的情况下实现更高的答案质量。 我们在公共基准上的广泛实验证明了
………………………………
