RAG 2.0谷歌RICHES：边检索、边思考、边生成

文章预览

RAG 2.0方法由 contextual.ai推出，它将 预训练、微调和对齐所有组件作为一个 单一的集成系统 ，通过大模型和检索器进行反向传播以最大化性能。旨在解决 RAG 面临的 各个组件技术是有效 ， 但整体远非最佳的问题。 Google DeepMind 提出 一种新颖的方法 RICHES （Retrieval Interlaced with Sequence Generation），通过单一的LLM和解码过程，将文本生成与文档检索原生地交织在一起。 无需单独的检索器和生成器 ，直接解码文档内容或相关的自然语言 检索键 。 无需额外训练，即可通过提示适应多样的新任务。 示例RICHES输出 ，用于具有单个大型语言模型（LLM）和解码通道的 多跳查询 。 绿色引用 文本是从检索语料库中"检索"或逐字生成的。RICHES生成原生地交错了思考和多个检索证据。 RICHES的工作流程 太长不看版 ： 初始化模型 ：选择一个适合的预训练大型语言模型（ ………………………………