离散模态信息作为细粒度标记用于多模态知识图谱补全--MyGO

文章预览

多模态知识图谱（MMKG）存储了包含有丰富的多模态描述信息的、结构化的世界知识。为了克服其固有的不完整性，多模态知识图谱补全（MMKGC）希望利用三元组的结构信息及实体的多模态信息，从给定的MMKG中发掘未观察到的信息。 由于知识图谱的固有不完整性， 现有的MMKGC方法通常使用预训练模型提取多模态特征，并通过融合模块整合这些特征进行三元组预测。 然而，这种方法往往会忽略多模态数据中的细粒度语义细节及其相互作用。 1 MyGO框架 为了解决这一问题，论文中引入了一个新颖的框架MyGO，用于处理、融合和增强MMKG中的细粒度模态信息。MyGO首先将多模态的原始数据转换为细粒度的离散标记，然后通过跨模态实体编码器学习实体的表示。为了进一步增强多模态表现，MyGO引入了细粒度对比学习，以突出实体表现的特异性。 2 三个组成部分 ………………………………