一文彻底搞懂多模态 - 多模态推理

文章预览

多模态推理 多模态推理涉及 至少两种不同的感知模态 ，最常见的是 视觉和语言 。这两种模态的信息可以是图片和文本、视频和语音等。多模态推理的目标是从不同模态的信息中获取更全面、更准确的理解和知识，以支持各种任务，包括 视觉问答、 视觉常识推理、 视觉语言导航 等。 接下来分两部分： 知识图谱推理 、多模态推理任务 ， 一起来深入了解多模态应用： 多模态推理 。 多模态推理 一、 知识图谱推理 什么是 知识图谱（ Knowledge Graph ） ？ 知识图谱是一种 结构化的知识库 ，它以 图的形式表示和存储现实世界中的实体、概念及其相互关系 。这些实体可以是具体的人、地点、事物，也可以是抽象的概念或思想。 节点 ：代表现实世界中的实体（如人、地点、事物、概念等），每个实体通常由一个唯一的标识符表示。 边 ：表示这些实体 ………………………………