万字长文总结多模态大模型最新进展（生成-理解大一统）

文章预览

在过去几年中，多模态智能的两个关键支柱——理解和生成，取得了显著进展。多模态大型语言模型（MLLMs），如 LLaVA，在视觉语言任务（例如视觉问答）中表现出色。同时，去噪扩散概率模型（DDPMs）在文本到图像/视频生成方面也取得了前所未有的成果。 尽管在各自领域取得了这些成就，研究者们开始探索将这两者连接的潜力。近期的研究尝试将来自不同领域的专家模型组合成一个统一系统，以同时处理多模态理解和生成。然而，现有的尝试主要将每个领域独立对待，通常涉及分别负责理解和生成的单独模型。针对这一问题，近期出现了很多工作。 Chameleon Chameleon 采用了统一的架构，将图像和文本视为离散的标记，从而能够在任意顺序中处理和生成混合内容。这种 “ 早期融合 ” 的方法使得模型能够跨模态推理和生成真正的混合文档。 Chameleon ………………………………