NeurIPS 2024 | 南大&腾讯提出VFIMamba：刷新视频插帧SOTA性能

文章预览

前言   本文为了实现高效的全局动态时空建模， VFIMamba 结合视频插帧任务的特点，将状态空间模型 （ SSMs ）第一次应用于视频插帧任务中。为了适应状态空间模型需要对输入序列化的特征，提出将首尾帧的 token 交错排列的方式来让 SSMs 更好的建模两帧的时空信息。同时，为了更好地挖掘出 SSMs 模型在视频插帧任务的潜力，提出基于课程学习思想的训练策略，通过逐渐增大训练集中的帧间运动幅度来增强 SSMs 对不同运动幅度下时空建模能力。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： CVer 仅用于学术分享，若侵权请联系删除 论文：https://arxiv.org/abs/2407.02315 代码：github.com/MCG-NJU/VFIMamba 1. 引言 在视频插帧（VFI）中，帧间的时空建模至关重要，因 ………………………………