专栏名称: 自动驾驶之心
自动驾驶开发者社区,关注计算机视觉、多维感知融合、部署落地、定位规控、领域方案等,坚持为领域输出最前沿的技术方向!
今天看啥  ›  专栏  ›  自动驾驶之心

一文看懂多模态视觉-语言大模型的架构演进

自动驾驶之心  · 公众号  ·  · 2024-07-22 07:30
    

文章预览

作者 | Dreamweaver  编辑 | 具身智能之心 原文链接:https://zhuanlan.zhihu.com/p/693885420 点击下方 卡片 ,关注“ 具身智能之心 ”公众号 本文只做学术分享,如有侵权,联系删文 本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进,对其中有代表性的工作进行了精炼总结,截止2024.04,持续更新ing... 欢迎大家多多点赞、收藏、讨论 首先,推荐一篇启发我很多的综述和对应的项目地址(本文的封面图也来自该综述) A Survey on Multimodal Large Language Models arxiv.org/abs/2306.13549 Awesome-Multimodal-Large-Language-Models github.com/BradyFU/Awesome-Multimodal-Large-Language-Models 这篇综述一张图总结了多模态LLM的典型架构: BLIP 【2022.01发布】https://arxiv.org/abs/2201.12086 统一视觉-语言理解和生成,使用captioner+filter高效利用互联网有噪数据 模型架构: Image/text encoder : ITC loss对齐视觉和 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览