多模态大模型技术白皮书 2024

文章预览

不同于语言大模型只对文本进行处理，多模态大模型将文本、语 音、图像、视频等多模态数据联合起来进行学习。多模态大模型融合了多种感知途径与表达形态，能够同时处理和理解来自不同感知通道（例如视觉、听觉、语言和触觉等）的信息，并以多模态的方式表达输出。 1.1  多模态大模型的技术体系 现有的多模态大模型主要有面向理解任务的、面向生成任务的、 兼顾理解和生成的、知识增强的多模态大模型。 1.1.1  面向理解任务的多模态大模型 面向理解任务的多模态大模型，其核心结构通常是 基于 Transformer  的编码器。按照模型结构的不同，面向理解任务的多模 态大模型又可再分为单流和多流两种结构。 单流结构是指不同模态的 特征在拼接后由一个共享的  Transformer  网络进行处理；而多流结构中，不同模态则分别由  Transformer  网络进 ………………………………