多模态大模型: 盘点&Highlights part1——从BLIP到LLaVA

文章预览

前言 Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。 我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模型的前世今生，并且深 入各个多模态大模型领域优秀的工作，希望能给大家一个脉络性的盘点，一起学习，共同进步。 Instruction 多模态大模型当前的发展如火如荼，随着LLM技术的不断发展、完善，把图像、视频、语音、遥感等多模态信息和文本结合在一起成了当前的一大热点。这里我将发表一系列关于多模态大模型的技术文章，我并不会过多列举一些不必要的论文细节和指标，而是会着重讲述： “心路历程”：一个系列工作逐步发展的路径，作者是如何根据当前工作的缺点一步步优化的，并且会总结出每篇工作的highlight，在精而不在多； “数据细节”：各个工作中对数据处理的 ………………………………