【RAG】WeKnow-RAG：融合Web搜索与知识图谱的自适应检索增强生成方法

文章预览

前言 往期文章介绍了《 【RAG】混合RAG系统，提升复杂推理任务表现 》，本文再来看看KDD CUP2024的CRAG的第三名方案，该方案提出WeKnow-RAG方法，结合了知识图谱和基于Web的RAG技术，通过多阶段检索、自评估机制以及智能平衡框架，提高了信息检索的精度和生成答案的可靠性。 一、方法 1.1 基于Web的RAG 网页内容解析：主要试用版BeautifulSoup库解析原始HTML源代码，提取网页内容。将非结构化数据转换为结构化数据，以便回答问题。 分块: 选择token-level分块策略，通过实验确定最佳分块大小。将文档分成多个段落，以提高问答系统的性能。 多阶段检索 通过多个阶段，高效地从数据源中检索相关文档， 以获得准确的答案并减少幻觉 。 第一阶段 ：使用稀疏检索（BM25）从网页结果块和片段块中收集候选段落。 第二阶段 ：结合稀疏检索和密集检索（嵌入相似 ………………………………