多模态大语言模型(MLLMs)-一般架构

文章预览

多模态大语言模型 (Multimodal Large Language Model , MLLM ），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质， 在下面这两种特质的加持下，MLLM 涌现出一些以往多模态模型所不具备的能力 ！ 模型大。MLLM 通常具有数十亿的参数量，更多的参数量带来更多的潜力； 新的训练范式。为了激活巨大参数量的潜力，MLLM 采用了多模态预训练、多模态指令微调等新的训练范式，与之匹配的是相应的数据集构造方式和评测方法等。 下面主要介绍一下MLLM的模型架构。 1 模型架构 对于多模态输入-文本输出的典型 MLLM，其架构一般包括 模态 编码器、连接器 以及  LLM 。如要支持更多模态的输出(如图片、音频、视频)，一般需 ………………………………