论文浅尝 | One model for all KGs：基于上下文提示的知识图谱基座模型 （NeurIPS2024）

主要观点总结

该文章介绍了一种基于上下文提示的知识图谱推理基座模型KG-ICL，该模型能够在任意知识图谱上进行推理，实现了图谱级的强泛化。它通过编码包含查询关系实例的子图来获得提示关系向量，避免了特定实体和关系相关参数的依赖，具有卓越泛化能力。文章还介绍了该模型在两个辅助工具——提示图和统一分词器——的支持下实现的推理流程，并在多个数据集上进行了实验验证。

关键观点总结

关键观点1: KG-ICL模型的泛化能力

KG-ICL能够实现仅通过一个基座模型在任意知识图谱上进行推理，避免了为每个知识图谱分别训练模型的耗时和计算资源浪费。该模型具备在静态和动态知识图谱上的卓越泛化能力，并在大多数数据集上超过了当前有监督的SOTA方法。

关键观点2: 模型的关键技术

KG-ICL通过编码包含查询关系实例的子图来获得提示关系向量，基于提示向量初始化知识图谱中的实体和关系向量。此外，它定义了两个辅助工具——提示图和统一分词器，来解决不同知识图谱间符号系统带来的泛化难题。

关键观点3: 实验验证

文章在三种设定下的43个数据集上对KG-ICL进行了实验验证，结果表明其在不同类型的知识图谱上均展现了卓越的泛化能力。此外，消融实验也证实了提示图等模块对整体性能的积极影响。

文章预览

笔记整理：崔员宁，南京大学2021级博士生 论文链接：http://arxiv.org/abs/2410.12288 发表会议：NeurIPS 2024 开源代码：https://github.com/nju-websoft/KG-ICL 1. 动机 只训练一个基座模型就能在任意知识图谱上进行推理 ？本文提出的基座模型 KG-ICL 实现了这一目标。现有知识图谱推理方法 通常需要为每个知识图谱分别训练模型，这既耗时又消耗大量计算资源。此外，现实世界的知识图谱是动态变化的，然而现有方法大多针对静态图谱，无法有效应对图谱的更新与变化。 KG-ICL 受到具备上下文推理能力的自然语言处理基座模型（如 GPT ）启发，创新性地提出了一种基于上下文提示的 通用推理机制。该模型基于与查询关系相关的提示图 (prompt graph) 及其编码生成关系的提示向量，并利用提示向量初始化知识图谱中的实体和关系向量，从而避免了对特定实体和关系相关参 ………………………………