论文浅尝 | 基于多模态知识图的多模态推理（ACL2024）

主要观点总结

本文主要介绍了通过利用多模态知识图（MMKGs）增强大型语言模型（LLMs）的多模态推理能力的方法。文章提出了MR-MKG方法，通过构建多模态知识图并利用关系图注意网络进行编码，以提高LLMs的多模态推理能力。文章还介绍了构建的数据集MMKGgrait，并在两个多模态推理任务上评估了MR-MKG的有效性。

关键观点总结

关键观点1: 文章背景及动机

大型语言模型（LLMs）在多模态推理中常出现幻觉和缺乏全面的知识。文章旨在通过利用多模态知识图（MMKGs）来解决这些问题。

关键观点2: 文章的主要贡献

提出了基于多模态知识图的多模态推理方法MR-MKG；设计了跨模态对齐模块来优化图像-文本对齐；构建了MMKGgrait数据集，通过预训练使LLM具备多模态推理的初步专业知识。

关键观点3: MR-MKG方法的主要特点

利用多模态知识图（MMKGs）进行跨模式学习；使用关系图注意网络对MMKGs进行编码；通过预训练和知识适配器使LLMs理解多模态知识；通过跨模态对齐模块优化图像-文本对齐。

关键观点4: 文章的实验及结果

文章在两个多模态推理任务上评估了MR-MKG的有效性，并取得了最先进的性能。此外，还介绍了构建的数据集MMKG和MarKG，并进行了相关的实验。

文章预览

笔记整理：李冰慧，天津大学硕士，研究方向为大语言模型 论文链接：https://aclanthology.org/2024.acl-long.579/ 发表会议：ACL2024 1. 动机 使用大型语言模型（ LLMs ）的多模态推理经常会出现幻觉，并且在 LLMs 中存在缺乏或过时的知识。一些方法试图通过使用文本知识图来缓解这些问题，但它们的单一知识模态限制了全面的跨模态理解。 本文 提出了基于多模态知识图的多模态推理（ MR-MKG ）方法，该方法利用多模态知识图（ MMKGs ）跨模式学习丰富的语义知识，显著提高了 LLMs 的多模态推理能力。特别地，利用关系图注意网络对 MMKGs 进行编码，并设计了一个跨模态对齐模块来优化图像 - 文本对齐。构建了一个 MMKGgrait 数据集，通过预训练使 llm 具备多模态推理的初步专业知识。 2. 贡献 （1）本文是 第一个通过利用 MMKGs 衍生的知识来扩展 LLMs 的多模态推理能 ………………………………