划时代突破 | “自定义视频分割”新纪元，可控性狂甩SAM几条街，却仅需几张样本！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “  视频目标分割具有广泛的应用场景，在视频监控、机器人、自动驾驶等场景中都可以看到它的身影。然而为每种可能的分割场景创建一个全面的数据集来开发监督分割技术是极其耗时和劳动密集型的任务。 或许有朋友会说不是有SAM算法，尽管SAM算法很强大，但是其可控性却比较差。 本文将给大家介绍一个新的少样本视频分割算法- SMITE，用户只需要分割一个或几个参考图像一次，然后使用这些图像来分割任何以同一类目标对象为特征的视频，该技术可以消除对每个视频进行单独分割的需要，从而使这个过程更加高效。 为了应对这些挑战并实现跨帧的一致分割，作者利用预训练文本到图像扩散模型的语义知识，并辅以额外的时间关注来提高时间一致性。作者还提出了 ………………………………