NVIDIA刷新“长上下文VLM”记录 | 发布全球首个“多模态序列并行”系统，并行度提升5.7倍！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “   多模态大模型一直是今年的热点话题，很多人认为它才是通往终极AGI最近的一条路。 大量的研究表明多模态和长上下文的重要性，从使用定制的机器学习模型到通用人工智能（AGI）。较长的上下文使得模型能够处理更多的信息，例如长文档、仓库级代码库和时长视频，这同样为更多的现实应用程序提供了所需的功能。 近期，有许多工作研究VLM适用于短上下文，以及LLM适用于长上下文。然而，同时关注多模态+长上下文的工作并不多。 本文介绍LongVILA，这是一种用于长上下文视觉语言模型的全栈解决方案，包括系统、模型训练和数据集开发。 在系统方面，作者介绍了第一个多模态序列并行（MM-SP）系统，该系统支持长上下文训练和推理，在256个GPU上支持2M上下文长 ………………………………