Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率

文章预览

在知识库问答等场景中，RAG已经成为当下最流行的LLM应用范式，为LLM提供又全又准的上下文信息是众多RAG技术努力的方向。在传统的 RAG 解决方案中，编码信息时往往会丢失上下文，这导致系统无法从知识库中检索到相关信息，如何能够更好地保留上下文信息成为了问题关键。 Anthropic 研究团队提出了“Contextual Retrieval（上下文检索）”的创新方法在此领域 取得了显著进展。 近日，他们发表 文章 [1] 可披露了这一技术的细节，他们通过上下文嵌入（Contextual Embeddings）和上下文 BM25（Contextual BM25）（文本检索）可以将检索失败率减少 49%，联合重排序（reranking），失败率可减少 67%。 我们一起来了解这一方法的核心内容。 上下文检索的创新点 传统的 RAG 系统在分割文档时会破坏上下文，导致检索到的信息分块缺乏足够的背景信息。 例如，假设你有一个 ………………………………