Youtu Lab, 腾讯, SJTU, BAAI, ECNU 联合调查高效的多模态大型语言模型报告！

文章预览

前言   本文 旨在详尽地组织近期在高效MLLMs领域快速发展的研究成果，如图2所示。作者将文献按照六个主要类别进行分类，涵盖了高效MLLMs的各个方面，包括架构、高效视觉、高效LLMs、训练、数据与基准测试以及应用。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 Introduction 大规模预训练是人工智能领域的一种领先方法，通用型模型（如大型语言模型和多模态模型）已经在许多任务中超过了专业深度学习模型的表现。大型语言模型（LLM）的卓越能力激发了人们将它们与其他基于模态的模型融合以增强多模态能力的努力。这一概念得到了诸如 OpenAI 的GPT-4V[1]和谷歌的Gemini[2]等专有模型显著成功的进一步支持。因此，多模态大型语言模型（MLLM）应运而生 ………………………………