RAG 的优化方案及评估

主要观点总结

本文介绍了RAG（Retrieve Augmentation Generation）的优化方案及评估体系。作者通过查看相关资料和论文，结合个人应用体验，总结了针对RAG框架的优化方案。这些优化方案旨在提高RAG的性能和效果。

关键观点总结

关键观点1: RAG的优化方案

包括查询环节优化、检索环节优化、Rerank优化、模型微调等。其中查询环节优化旨在提高查询的准确性和鲁棒性；检索环节优化包括创建多层级索引、融合或混合搜索等；Rerank环节通过更精确的排序提高MMR和命中率；模型微调则针对特定领域提高模型效果。

关键观点2: RAG的评估体系

包括检索质量评价和生成质量评价。检索质量评价采用MMR（平均倒排率）、Hits Rate（命中率）、NDCG（归一化折损累积增益）等指标；生成质量评价则关注噪声的鲁棒性、信息融合能力、噪声的拒绝能力、反事实的稳健性等。

关键观点3: RAG Module的优化

介绍了一些常见的RAG模块，如Search module、Memory module、Fusion module和Routing module等，并指出它们的优化方法和作用。

关键观点4: 自适应检索与递归检索

介绍递归检索和自适应检索的概念和作用，指出它们能够增强搜索体验和提高信息来源的效率和相关性，但也需要消耗较大的资源成本。

文章预览

RAG 的优化方案及评估 作者：soso 原文地址：https://zhuanlan.zhihu.com/p/681421145 笔者大概在2-3个月前开始进行 RAG 项目并学习RAG，通过查看相关资料和论文，并结合笔者的个人应用体验，总结了目前的一些针对RAG框架的优化方案。希望能帮助到和我一样的初学者。 一、RAG Definition 由于通用的 LLM 预训练数据存在限制，缺乏实时知识或者垂直知识，而不断地 fine-tuning又存在较大的成本。因此一种解决该问题的方式出现了。 首先通过 Retrieve 外部知识库的文档来为 LLM 提供补充信息的上下文，并与最初的问题一起被合并成一个 Augmentative 的提示，而后输入LLM 使 LLM 能够 Generate 更有效的回答。顾名思义这就是 RAG （Retrieve Augmentation Generation） 二、General RAG Framework 通用的 RAG 框架如下： 多文档切分成 chunks; 将 chunks 索引化并存储，目前基于LLM 对文本进行embeddi ………………………………