首个Mamba+Transformer混合架构多模态大模型来了，实现单卡千图推理

主要观点总结

本文介绍了LongLLaVA模型，这是一个混合架构多模态大语言模型，旨在解决多图像理解场景中的挑战。它通过结合Mamba和Transformer架构，考虑多个图像之间的时间和空间依赖性，并提出了渐进式训练策略。该模型在效率和性能之间取得了平衡，并在多个基准测试中表现出竞争力。

关键观点总结

关键观点1: 研究背景

多模态大语言模型（MLLMs）的快速进步带来了各种应用场景中的显著能力，但多图像理解场景仍然是一个重要但尚未充分探索的方面。特别是，将MLLMs的应用场景扩展到理解更长的视频、更高分辨率的图像以及基于更多历史信息的决策，对于提升用户体验和进一步拓展MLLMs的应用范围至关重要。

关键观点2: 主要工作

该研究提出了LongLLaVA系统解决方案，采用混合架构进行加速。该解决方案在三个维度上进行了全面优化：多模态架构、数据构建和训练策略。其中，多模态架构采用结合Transformer和Mamba的混合架构，并提出了一种高效图像表示方法。数据构建为不同的任务设计了独特的格式，使模型能够区分图像之间的时间和空间的依赖关系。训练策略采用了一种三阶段的多模态自适应方法，以逐步提升模型处理多模态长上下文的能力。

关键观点3: 实验结果

LongLLaVA在多个基准测试中表现出色，特别是在VNBench上的评估结果展示了其在处理多图像任务方面的强大能力。此外，消融实验证明了混合架构、2D池化方法以及数据构建的有效性。

关键观点4: 分析

该研究还进行了更多分析，探讨了混合架构的动机、图像数量的缩放定律以及将图像数量扩大到1000的影响。结果表明，LongLLaVA在长上下文多模态理解方面表现出创新性。

关键观点5: 结论

LongLLaVA这一创新性混合架构模型在长上下文多模态理解方面表现出色，为长上下文多模态大型语言模型（MLLMs）设定了新的标准。

文章预览

↑ 点击 蓝字  关注极市平台 来源丨机器之心 极市导读   该团队将模型架构调整为 Mamba 和 Transformer 块的混合体，在数据构建中考虑多个图像之间的时间和空间依赖性，并采用渐进式训练策略。提出了首个混合架构多模态大语言模型 LongLLaVA，在效率和性能之间实现了更好的平衡。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文作者来自于香港中文大学深圳和深圳大数据研究院。其中第一作者为香港中文大学深圳博士生王熙栋和研究助理宋定杰，主要研究方向分别为医疗AGI和多模态学习；博士生陈舒年研究方向为多模态学习，博士生张辰研究方向为高效语言模型。通讯作者为香港中文大学深圳数据科学学院王本友教授。 扩展多模态大语言模型（MLLMs）的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及 ………………………………