阿里多模态大模型mPLUG-Owl2，模态自适应特征空间实现模态协同

论文地址：https://arxiv.org/abs/2311.04257代码地址：: https://github.com/X-PLUG/mPLUG-Owl/tree/main/mPLUG-Owl2计算机视觉研究院专栏Column of Computer Vision Institute距离 ChatGPT 发布已有 1 年有余，国内外各个公司和研究机构相继发布了各种语言模型，而多模态领域更进一步，在 GPT-4V 发布之前便涌现了诸多优秀的多模态大语言模型01简介多模态大语言模型（MLLMs）在各种开放式任务中表现出了令人印象深刻的教学能力。然而，以前的方法主要侧重于增强多模态能力。在今天分享的工作中，我们介绍了一种通用的多模态大型语言模型mPLUG-Owl2，它有效地利用模态协作来提高文本和多模态任务的性能。mPLUG-Owl2采用模块化网络设计，语言解码器充当管理不同模态的通用接口。具体而言，mPLUG-Owl2结合了共享的功能模块，以促进模态协作，并引入了一个模态自适应模块，该模块保留 ………………………………