多模态大模型: 盘点&Highlights part1.5——从LLaVA-NeXT到LLaVA-OneVision

文章预览

Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模型的前世今生，并且深入各个多模态大模型领域优秀的工作，希望能给大家一个脉络性的盘点，一起学习，共同进步。 Instruction 上一期我介绍了介绍下BLIP到LLaVA的一系列工作，关于LLaVA仅仅介绍到了LLaVA-NeXT，本期作为part1.5（也呼应了LLaVA-NeXT后续工作提出了1.5阶段训练^_^），我们顺着LLaVA这条线会细致介绍下LLaVA-NeXT的若干延伸工作，并且也会跟大家分享LLaVA系列的集大成之作LLaVA-OneVision，同样地我并不会过多列举一些不必要的论文细节和指标，而是会着重讲述： “心路历程”：一个系列工作逐步发展的路径，作者是如何根据当前工作的缺点一步步优化的，并且会总结出每篇工作的highlight ………………………………