文章预览
作者 | Dreamweaver 编辑 | 具身智能之心 原文链接:https://zhuanlan.zhihu.com/p/693885420 点击下方 卡片 ,关注“ 具身智能之心 ”公众号 本文只做学术分享,如有侵权,联系删文 本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进,对其中有代表性的工作进行了精炼总结,截止2024.04,持续更新ing... 欢迎大家多多点赞、收藏、讨论 首先,推荐一篇启发我很多的综述和对应的项目地址(本文的封面图也来自该综述) A Survey on Multimodal Large Language Models arxiv.org/abs/2306.13549 Awesome-Multimodal-Large-Language-Models github.com/BradyFU/Awesome-Multimodal-Large-Language-Models 这篇综述一张图总结了多模态LLM的典型架构: BLIP 【2022.01发布】https://arxiv.org/abs/2201.12086 统一视觉-语言理解和生成,使用captioner+filter高效利用互联网有噪数据 模型架构: Image/text encoder : ITC loss对齐视觉和
………………………………