文章预览
©作者 | 黎昆昌 单位 | 上海AILab 研究方向 | 视频行为识别 介绍 我们提出了一个仅基于状态空间模型 (SSM) 的高效视频理解架构 VideoMamba，并通过大量的实验证明了它具备一系列良好的特性，包括 1）Visual Domain Scalability；2）Short-term Action Sensitivity；3）Long-term Video Superiority；4）Modality Compatibility。这使得 VideoMamba 在一系列视频 benchmark 上取得不俗的结果，尤其是长视频 benchmark，为未来更全面的视频理解提供了更高效的方案。 论文标题： VideoMamba: State Space Model for Efficient Video Understanding 论文链接： https://arxiv.org/abs/2403.06977 代码链接： https://github.com/OpenGVLab/VideoMamba 模型链接： https://huggingface.co/OpenGVLab/VideoMamba Online Demo: https://huggingface.co/spaces/OpenGVLab/VideoMamba Motivation 视频表征学习长期以来存在两大痛点，一是短 clip 里存在大量的时空冗余，二是长上下
………………………………
