文章预览
1. RAG系统的发展历史与问题 RAG（检索增强生成）通过访问外部知识库，检索增强生成（RAG）为 LLMs 提供了关键的上下文信息，极大地提升了其在知识密集型任务上的表现。RAG 作为一种增强手段，已在众多实际应用场景中广泛运用，涵盖知识问答、推荐系统、客户服务以及个人助手等领域。 RAG 技术的发展可归结为三个阶段： • 起初，检索增强技术被引入，提升预训练语言模型在知识密集型任务上的表现。比如： • Retro 通过检索增强优化了预训练的自回归模型。 • Atlas 则运用了检索增强的少样本微调手段，使语言模型能适应各类任务。 • IRcot 通过融合思维链和多步检索流程，进一步丰富了推理阶段的推理过程。 • 第二阶段，随着大型语言模型（LLM）的语言处理能力大幅提升，检索增强技术开始充当补充额外知识和提供参考的途径，以减少幻
………………………………
