UIUC | 提出“提取-精炼-检索-读取”框架：ERRR，提升RAG系统性能

主要观点总结

文章介绍了大语言模型（LLMs）在应对最新信息时的挑战，以及为解决这一问题而提出的“提取-精炼-检索-读取”（ERRR）框架。ERRR框架旨在缩小LLM的预检索信息差距，通过query优化更好地满足模型的知识需求，进而生成准确的回答。

关键观点总结

关键观点1: 大语言模型（LLMs）的缺点

大语言模型难以跟上信息的实时变化，存在新信息获取的问题。在应对最新或不常见的信息时，可能出现过时、错误或虚构的内容。

关键观点2: 检索增强生成（RAG）技术的出现

RAG技术通过引入外部信息来源，结合LLM的上下文学习能力，旨在生成更准确的回答。但RAG架构也存在挑战，如向量数据库存储的上下文连续性、向量数据库的检索准确性等问题。

关键观点3: “重写-检索-读取”（RRR）框架的局限性

RRR框架主要通过查询重写来优化查询，但未能根据LLMs的特定需求进行优化，无法确保检索到生成准确回答所需的最相关知识。

关键观点4: ERRR框架的提出

ERRR框架旨在解决RRR框架的局限，通过定制的query优化器来缩小“检索前信息差距”，旨在生成更准确的回答。ERRR框架包括参数化知识提取、查询优化、检索和生成等步骤，并提出了一种可训练方案来增强自定义能力并降低计算成本。

关键观点5: 实验结果

ERRR框架在多个开放域问答数据集上进行了实验，并取得了较高的效果。实验包括Frozen ERRR和Trainable ERRR两种模式。

免责声明