4B小模型也能释放“超能量” | BLIP-3扛起{大模型轻量化}大旗，性能比肩GPT-4V!

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “   很多朋友们可能没听过salesforce ai research，但是你可能知道它们所作的一些工作-BLIP-2、InstructionBLIP、BLIP Diffusion、X-InstructBLIP等等。该机构与众不同的是，当大家都在热火朝天的拼一些超大的多模态大模型的性能的时候，它却在尝试着推出一些很轻量的多模态大模型，而它的目标是比肩或者超越比它大的MLLM。BLIP-2是一个开创性的工作， 与当今更现代的LMM相比，BLIP-2中使用的数据缺乏达到竞争性能所需的规模、质量和多样性。此外，BLIP-2采用了一个复杂的Q-Former架构来连接视觉和语言模式，再加上一系列复杂的训练目标（ITM、ITC和ITG损失），这两者都对大规模训练构成了障碍。 本文介绍了xGen-MM（也称为BLIP-3）， 这是一个用于开发大型多模态模型（LMM）的框架。该框架 ………………………………