专栏名称: AINLP
关注AI、NLP相关技术,关注算法研发职位和课程;回复"文章"获取历史信息;双语聊天机器人"无名";中英翻译请输入:翻译 翻译内容;自动对联,请输入:上联 上联内容;调戏夸夸聊天机器人,请求夸、求赞;查询相似词,请输入: 相似词 词条
今天看啥  ›  专栏  ›  AINLP

【RAG】GraphRAG开源:查询聚焦摘要的图RAG方法

AINLP  · 公众号  ·  · 2024-07-08 21:36
    

文章预览

前言 传统的 RAG 方法在处理针对整个文本语料库的 全局性问题 时存在不足,例如查询:“数据中的前 5 个主题是什么?” 对于此类问题,是因为这类问题本质上是 查询聚焦的摘要(Query-Focused Summarization, QFS)任务,而不是传统的显式检索任务。 Graph RAG 通过使用 LLM 构建基于图的文本索引,从源文档构建知识图谱。通过构建知识图谱,能够将复杂的、大规模文本数据集转化为易于理解和操作的知识结构,以便更好地理解实体(如人物、地点、机构等)之间的相互关系。 一、方法 1.1 源文档分块 该步骤是 Graph RAG 流程的基础,它决定了后续构建知识图谱和生成摘要的质量。主要需要考虑的就是 源文档的分割粒度 (《 【RAG】Dense X Retrivel:合适的检索粒度对RAG的重要性(浅看命题粒度的定义及分解方法) 》),需要决定输入文本从源文档中提取出来 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览