详解这一年多模态视觉-语言大模型的架构演进

文章预览

作者：Dreamweaver，SJTU × AIGC/LLM，腾讯公司 · 多模态应用研究 (实习) 声明：本文只做分享，版权归原作者 来源：青稞AI 原文：https://zhuanlan.zhihu.com/p/693885420 本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进，对其中有代表性的工作进行了精炼总结，截止2024.04，持续更新ing... 欢迎大家多多点赞、收藏、讨论 这篇综述一张图总结了多模态LLM的典型架构： BLIP 【2022.01发布】 [1] 统一视觉-语言理解和生成，使用captioner+filter高效利用互联网有噪数据 模型架构： •  Image/text encoder : ITC loss对齐视觉和语言表征，基于ALBEF提出的momentum distillation •  Image-grounded text encoder : ITM loss建模视觉-语言交互，区分positive/negative图文对，使用hard negative mining挖掘更高相似度的负例优化模型 •  Image-grounded text decoder : LM loss实现基于图像的文本解码，将双向self-att ………………………………