通用多模态人工智能：架构、挑战和机遇综述

文章预览

来源：专知 多模态模型被认为是未来人工智能进步的关键组成部分。 由于基础模型在自然语言处理 (NLP) 和视觉领域的成功，这一领域正迅速发展，并涌现出大量新的设计元素。人们普遍希望将基础模型进一步扩展到多种模态（如文本、图像、视频、传感器、时间序列、图等），最终形成通用的多模态模型，即在不同数据模态和任务之间通用的单一模型。 然而， 关于最近的多模态模型（尤其是那些超越文本和视觉的模型）的系统性分析研究较少，特别是对于所提出的底层架构。 因此，本研究通过一种新颖的架构和训练配置特定的分类法，提供了关于通用多模态模型（GMMs）的新视角。这包括统一性、模块化和适应性等对GMMs广泛采用和应用至关重要的因素。本文综述进一步强调了该领域的关键挑战和前景，并指导研究人员了解新的进展。 引言 多模 ………………………………