快速分割视频中任意对象！CMU提出强大的ReferEverything模型！

文章预览

前言   本文提 出了REM框架，用于通过自然语言描述视频中的广泛概念，利用了在互联网规模数 据集上通过视频扩散模型学习到的视觉-语言表示。我们方法的一个关键洞察是尽可能保留生成模型的 原始表示，同时在狭窄领域的推荐对象分割数据集上进行微调。因此，本文框架可以准确地 对罕见 且未见过的对象进行分割和跟踪 ，尽管它是 在有限的类别集合上 的对象掩码上训练的。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 论文名： REFEREVERYTHING: TOWARDS SEGMENTING EVERY- THING WE CAN SPEAK OF IN VIDEOS 论文链接： https://arxiv.org/pdf/2410.23287 开源代码： https://miccooper9.github.io/projects/ReferEverything/ 图1：我们介绍了REM框架，该框架用于通过视频扩散模型学习到的强大视 ………………………………