OpenRAG：全面增强RAG推理，超越Self-RAG、RAG 2.0、Command R+

文章预览

现有的RAG方法在使用开源LLMs处理复杂查询（如多跳检索任务）时，表现出有限的推理能力。 提出了一个名为 OPEN-RAG 的新框架，旨在提高开源LLMs在RAG中的推理能力。 OPEN-RAG中的推理流程 。它学习生成检索/不检索标记，对比相关和不相关上下文，并将答案归类为部分支持、完全支持或不支持。然后在推理时，给定一个（多跳）用户查询，首先强制模型在输入条件为不检索的情况下生成答案，并根据模型的置信度动态决定是否需要检索。 OPEN-RAG将任意密集LLM转换为参数高效的稀疏专家混合（MoE）模型，能够处理包括单跳和多跳查询在内的复杂推理任务。 OPEN-RAG中的架构转换（从密集到PEFT MoE） 。路由器R从头开始训练。FFN层保持冻结状态，并由基于并行适配器的专家E进行调整。其他层被复制。 OPEN-RAG 通过独特的训练方法，使模型能够导航看似相关但 ………………………………