RAG 涨点小技巧——RAG上下文召回

文章预览

RAG 涨点小技巧——RAG上下文召回 转载☞： AI算法厨房 原文地址：https://mp.weixin.qq.com/s/5O8vdQ0CxUpSD-tj1o0IDQ 昨天Claude团队发了一个关于RAG的博客，介绍了上下文召回的思路，可以看看。先看看标准的RAG（检索增强生成）是怎么做的？ 将用于检索的知识库（文档）拆为小（几百个token）的文本块 对文本块进行 TF-IDF 编码以及语义嵌入 使用 BM25 检索最相似的文本块 使用文本嵌入检索语义相似的文本块 合并、去重、排序两种方式检索得到的文本块 将 top k 个文本块放进提示词中辅助 LLM 生成回答 因为 需要对文本进行切块，所以经常遇到上下文被不合理分割的情况 举个例子，如果LLM的知识库里有一堆财务信息（比如美国SEC的文件），然后问题是：“ACME公司2023年第二季度的收入增长了多少？”这时候可能会有一个相关的信息是：“这家公司的收入比上个季 ………………………………