Self-supervised Object-Centric Learning for Videos

文章预览

Self-supervised Object-Centric Learning for Videos 以对象为中心的自监督视频学习 https://arxiv.org/abs/2310.06907 摘要 无监督的多对象分割通过利用从自监督预训练中学到的强大语义，在图像中展示了令人印象深刻的结果。通常在视频序列中，会使用额外的模态，例如深度或运动，来促进分割。然而，观察到的在依赖于额外线索的合成序列中的性能提升，并不转化为更具挑战性的真实场景。在本文中，我们提出了第一个完全无监督的方法，用于在真实世界序列中分割多个对象。我们的以对象为中心的学习框架将对象空间地绑定到每个帧上的槽位，然后将这些槽位在帧间关联起来。从这些具有时间感知的槽位中，训练目标是在高级语义特征空间中重建中间帧。我们提出了一种掩码策略，通过在特征空间中删除大量令牌来提高效率和正则化。此外，我们通过基于相似 ………………………………