综述｜多模态大模型有何进展？西工大等最新《多模态大型语言模型》

文章预览

↑ 点击 蓝字  关注极市平台 作者丨专知 来源丨专知 编辑丨极市平台 极市导读   系统地梳理了MLLM在自然语言、视觉和音频等多模态任务中的应用。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 摘要——在数据爆炸性增长和技术快速发展的时代，多模态大型语言模型（MLLMs）处于人工智能（AI）系统的前沿。MLLMs旨在无缝集成包括文本、图像、视频、音频和生理序列在内的多种数据类型，解决远远超出单一模态系统能力范围的复杂现实应用问题。 在本文中，我们系统地梳理了MLLM在自然语言、视觉和音频等多模态任务中的应用 。我们还对不同MLLM在任务中的关注点进行了对比分析，并深入探讨了当前MLLMs的不足之处，并提出了未来研究的潜在方向。通过这些讨论，本文希望为MLLM的进一步发展和应用提供宝贵的见解。 关键词——MLLMs, 任务, AI ………………………………