论文浅尝 | 用于多文档问答的知识图谱提示（AAAI2024）

主要观点总结

该文章介绍了多文档问答（MD-QA）面临的挑战以及为了解决这些挑战所提出的知识图谱提示（KGP）方法。KGP方法包括构建知识图谱以及设计基于大型语言模型的图谱遍历代理，以增强模型在多文档问题回答中的性能。文章还详细描述了KGP的具体实现，包括知识图谱的构建和基于LLM的知识图谱遍历代理的设计，以及相关的实验结果和分析。

关键观点总结

关键观点1: MD-QA面临的挑战

MD-QA要求模型能够理解不同文档之间的逻辑关系，并能够从多个文档中抽取和综合信息来回答问题。交替推理与检索，要求模型能够在推理和检索之间进行交替操作。多模态信息融合，涉及到多种类型的文档结构。高效利用大型语言模型，现有方法在使用大型语言模型时存在延迟和成本问题，如何有效融入不同文档结构仍是开放问题。

关键观点2: KGP方法

包括构建知识图谱和设计基于大型语言模型的图谱遍历代理。通过构建知识图谱，将文档段落作为节点，词义/语义相似性/结构关系作为边，增强模型对文档间逻辑关联的理解。利用基于LLM的知识图谱遍历代理，在不同文档结构间高效进行推理和检索。

关键观点3: 知识图谱的构建

将段落建模为节点，词汇/语义相似性建模为边，构建图。具体构建方式包括TF-IDF KG构建、KNN-ST/MDR KG构建和TAGME等。此外，还考虑了文档结构的提取，如页面和表格节点的添加。

关键观点4: 基于LLM的知识图谱遍历代理

是一个经过微调的LLM，可以根据从当前访问节点收集到的信息，引导KG遍历向下一个最有希望回答问题的通道前进。通过指令微调，根据之前的支持事实预测下一个支持事实，整合常识知识与推理能力。

关键观点5: 实验与结果

研究了KGP方法的性能、构建的KG质量和基于LLM的图遍历代理的质量对MD-QA性能的影响。实验结果表明，KGP方法能够提高MD-QA的性能，并且随着KG密度的增加和LLM的指导，性能会进一步提高。

文章预览

笔记整理：和东顺，天津大学硕士，研究方向为软件缺陷分析 论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/29889 发表会议：AAAI2024 1. 动机 多文档问答 （ MD-QA ） 面临一些关键挑战，这些挑战包括： 逻辑关联推理 ： MD-QA 要求模型能够理解不同文档之间的逻辑关系，并能够从多个文档中抽取和综合相关信息来回答问题。 交替推理与检索 ： MD-QA 的任务要求模型能够在推理和检索之间进行交替操作，即先根据已有信息进行推理，然后根据推理结果检索新的相关信息，如此循环往复直到找到答案。 多模态信息融合 ： MD-QA 可能涉及到多种类型的文档结构，例如表格、页面等，这就要求模型能够处理这些复杂结构中的信息。 高效利用大型语言模型 ：现有的方法在使用大型语言模型时存在延迟和成本问题，尤其是在需要多次交互式提示的情况下。此外 ………………………………