ECCV 2024 | VideoMamba: 用于高效视频理解的状态空间模型

文章预览

前言   本文提出了一个仅基于状态空间模型 (SSM) 的高效视频理解架构 VideoMamba，并通过 大量的实验证明了它具备一系列良好的特性，包括 1）Visual Domain Scalability；2）Short-term Action Sensitivity；3）Long-term Video Superiority；4）Modality Compatibility。这使得 VideoMamba 在一系列视频 benchmark 上取得不俗的结果，尤其是长视频 benchmark，为未来更全面的视频理解提供了更高效的方案。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者： 黎昆昌 来源：PaperWeekly 单 位：上海AILab 仅用于学术分享，若侵权请联系删除 论文标题： VideoMamba: State Space Model for Efficient Video Understanding 论文链接： https://arxiv.org/abs/2403.06977 代码链接： https://github.com/OpenGVLab/VideoMamba 模型链接： https://hugg ………………………………