探索视频理解新境界！在12项任务中，Mamba先打败了Transformer

文章预览

©作者 |  机器之心 探索视频理解的新境界，Mamba 模型引领计算机视觉研究新潮流！传统架构的局限已被打破，状态空间模型 Mamba 以其在长序列处理上的独特优势，为视频理解领域带来了革命性的变革。 来自南京大学、上海人工智能实验室、复旦大学、浙江大学的研究团队发布了一项开创性工作。他们全面审视了 Mamba 在视频建模中的多重角色，提出了针对 14 种模型 / 模块的 Video Mamba Suite，在 12 项视频理解任务中对其进行了深入评估。结果令人振奋：Mamba 在视频专用和视频 - 语言任务中均展现出强劲的潜力，实现了效率与性能的理想平衡。这不仅是技术上的飞跃，更是对未来视频理解研究的有力推动。 论文标题： Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding 论文链接： https://arxiv.org/abs/2403.09626 代码链接： https://github.com/OpenGV ………………………………