阿里通义、港科大等提出RAG与长文本对比新框架，助力智能路由决策机制设计

文章预览

背景： RAG 与长文本语言模型的权衡 随着大型语言模型（ LLMs ）的快速发展，输入长度限制从最初的  4K token  到如今普遍支持的  128K  甚至百万级  token  输入， “ 长文本 ” （ Long Context, LC ）的定义也在发生着巨变。 检索增强生成（ RAG ）技术曾经作为处理超长文本的关键解决方案，通过检索与问题（ query ）相关的文本片段来满足输入长度的限制。 然而，随着模型上下文窗口的显著扩展和长文本处理能力的质的飞跃，一个富有挑战性的问题浮出水面：在当前  LLMs  已具备如此强大的长文本理解能力的背景下， RAG  是否仍然是处理长文本必不可少的方案？ 尽管  LLMs  在长文本处理能力上取得了显著进展，但我们不能忽视其固有的局限性。长文本处理不仅带来了显著的计算开销，还面临着事实准确性降低、幻觉产生概率增加、专业领域适应性 ………………………………