一种比直接chunking更高效的RAG检索策略，R@1提升16%

文章预览

RAG框架 的核心在于将文档分割成独立的块（ chunks ），然后通过检索过程识别与给定查询相关的块，并将检索到的块（以及查询）作为提示传递给合成模型LLM以生成所需的响应。 然而，检索步骤可能成为 性能瓶颈 ，因为错误的块可能导致合成LLM生成错误的响应（ garbage in，garbage out ）。 为了解决这个问题，提出了一种零样本（zeroshot）适应标准密集检索步骤的方法，以提高块的准确召回（recall）。具体来说， 将块分解为原子陈述（ atomic statements ），然后基于这些原子生成一组 合成问题 （以块作为上下文），通过密集检索找到与用户查询最接近的合成问题集合及其相关的块 。 使用原子单位基于问题的检索，用于企业RAG 各环节（query改写，原子化，问题生成）的prompt 使用了重新格式化的SQuAD数据集来评估RAG框架。该数据集包含 2,067个块和10,570个 ………………………………