多模态视觉-语言大模型的架构演进

文章预览

作者：Dreamweaver 原文地址：https://zhuanlan.zhihu.com/p/693885420 本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进，对其中有代表性的工作进行了精炼总结，截止2024.04，持续更新ing... 欢迎大家多多点赞、收藏、讨论 首先，推荐一篇启发我很多的综述和对应的项目地址（本文的封面图也来自该综述） A Survey on Multimodal Large Language Models https://arxiv.org/abs/2306.13549 Awesome-Multimodal-Large-Language-Models https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models 这篇综述一张图总结了多模态LLM的典型架构： BLIP 【2022.01发布】 https:// https://arxiv.org/abs/2201.12086 6 统一视觉-语言理解和生成，使用captioner+filter高效利用互联网有噪数据 模型架构： Image/text encoder:  ITC loss对齐视觉和语言表征，基于ALBEF提出的momentum distillation Image-grounded text encoder:  ITM loss建模视觉-语言交互， ………………………………