缓存增强生成 (CAG) 开启RAG知识任务新范式

文章预览

检索增强生成（RAG）作为一种通过集成外部知识源来增强语言模型的强大方法而受到关注。然而，RAG 带来了一些挑战，例如检索延迟、文档选择中的潜在错误以及系统复杂性的增加。 随着具有显着扩展上下文窗口的大型语言模型（ LLMs ）的出现， 近日，有一篇名为《 Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [1] 》的论文提出了一种名为缓存增强生成（Cache-Augmented Generation，CAG）的新架构范式。 它不同于传统的 RAG 模式，不再依赖于运行时的检索，而是通过预加载知识和预计算缓存，让 LLM 在需要的时候直接调用，大大提升了效率。CAG 的出现，为知识密集型任务提供了一个新的、更高效的选择。 我们的方法包括将所有相关资源预加载到LLM的扩展上下文中，并缓存其运行时参数，特别是当要检索的文档或知识的大小有限且易于 ………………………………