基于多模态知识图谱的多模态推理-MR-MKG

文章预览

MR-MKG论文中 提出了一种新的多模态推理方法，即利用多模态知识图（Multimodal Knowledge Graph, MMKG）进行多模态推理的方法。这种方法旨在通过从MMKG中学习，扩展大型语言模型（LLMs）的多模态知识。 1 三个模块 MR-MKG方法主要包含以下三个模块，分别处理不同的模态信息： 文本编码(Language Encoder) ：将问题文本进行嵌入得到表征，随后将其输入LLMs以提供指导和指令。 MMKG编码(KG Encoder) ：使用关系图注意网络（Relation Graph Attention Network, RGAT）对检索到的MMKG子网络进行编码，生成能够捕捉复杂图结构的知识节点嵌入。 视觉图片编码(CLIP) :利用CLIP将实体相关的图片信息进行嵌入得到图片的嵌入向量表示。 2 三个步骤 通过上述三个模块获得相应模态的特征表示之后，在进行下面几个步骤： 跨模态适配(C) ：设计知识和视觉适配层，以跨越模态之间的差距，分 ………………………………