VideoLLM-MoD在大型视觉语言模型中的应用 !

文章预览

前言   在大型视觉语言模型（例如，GPT-4，LLaVA等）中，存在的一个知名困境是，尽管增加视觉标记的数量通常可以提高视觉理解，但它也会显著增加内存和计算成本，尤其是在长期或流式视频帧处理场景中。 尽管已经开发了可学习的方法，如Q-Former和 Perceiver Resampler ，以减轻视觉标记的负担，但它们可能忽略了由类LLM（例如，键值缓存） causally建模的上下文，可能导致在处理用户 Query 时错过视觉线索。 在本论文中，作者提出了一种利用冗余视觉标记“跳过层”而不是减少视觉标记数量的方法来减少视觉计算。 作者提出的VideoLLM-MoD方法灵感来源于混合深度LLM，并解决了长期或流式视频中大量视觉标记的挑战。 具体而言，对于每个 Transformer 层，作者学习跳过其中高达80％的视觉标记的计算，并直接将其传递到下一层。 这种方法显著提高了模型效率 ………………………………