专栏名称: 深度学习与NLP
专注深度学习、NLP相关技术、资讯,追求纯粹的技术,享受学习、分享的快乐。
今天看啥  ›  专栏  ›  深度学习与NLP

你要的增量更新来了:微软GraphRAG 0.4.0

深度学习与NLP  · 公众号  ·  · 2024-11-07 10:10

文章预览

微软GraphRAG 自发布以来,引起了很大关注(目前18.7k star),但是一些功能却迟迟没有,比如 增量更新 。今天微软GraphRAG发布v0.4.0,3小时前,还是新鲜热乎的,带来两项重要更新: 添加增量索引 添加了 DRIFT 图推理查询模块 增量更新索引逻辑 增量更新逻辑代码在这 : https://www.microsoft.com/en-us/research/blog/introducing-drift-search-combining-global-and-local-search-methods-to-improve-quality-and-efficiency/ 获取数据变化 :get_delta_docs函数用于比较输入数据集和存储中的最终文档,识别出新增和删除的文档。这是增量更新的核心部分,只有变化的部分会被进一步处理。 async def get_delta_docs ( input_dataset: pd.DataFrame, storage: PipelineStorage ) -> InputDelta: """Get the delta between the input dataset and the final documents. Parameters ---------- input_dataset : pd.DataFrame The input dataset. storag ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览