TPAMI 2024 | 目标亲和性学习：迈向无需标注的实例分割

主要观点总结

本文提出了一个名为“对象亲和学习”的代理任务，用于解决无需标注的实例分割问题。该任务旨在从几何线索中学习像素关系，并通过空间连续性和运动一致性作为约束来监督对象亲和学习。该方法能够直接在单目视频中学习对象亲和，并通过图划分算法生成实例分割的掩膜。在Waymo Open Dataset等复杂场景下的实验结果表明，该方法取得了领先的性能，并在WIS基准测试上评估了模型的性能。此外，该方法还提供了一个新的基准测试WIS，用于在WOD上评估实例分割。

关键观点总结

关键观点1: 对象亲和学习作为代理任务

对象亲和学习旨在从几何线索中学习像素关系，作为无需标注的实例分割的代理任务。

关键观点2: 利用空间连续性和运动一致性作为监督

空间连续性和运动一致性是对象的固有属性，可作为对象亲和学习的一般监督。

关键观点3: 直接在单目视频中学习对象亲和

模型能够直接从单目视频中的几何线索中学习对象亲和，无需手动标注。

关键观点4: 通过图划分算法生成实例分割的掩膜

学习到的对象亲和可以通过图划分算法转换为实例分割的掩膜。

关键观点5: 在WIS基准测试上评估性能

新的基准测试WIS用于在WOD上评估实例分割，并在多个数据集上评估了模型的性能。

文章预览

前言   本文 解决的是野外环境中无需标注的实例分割问题，旨在减轻手动掩膜标注的昂贵成本。现有方法利用颜色、边缘和纹理等视觉线索来生成实例分割的伪掩膜。然而，由于仅通过视觉外观定义对象存在歧义，这些方法在复杂场景中无法区分对象与背景。除了视觉线索外，对象在空间上是一体的，并且随着时间的推移一起移动，这表明几何线索，如空间连续性和运动一致性，也可用于解决此问题。为了直接利用几何线索，本文提出了一种基于亲和性的范式，称为 对象亲和学习 ，这是无需标注的实例分割的代理任务 ，旨在通过从几何线索中学习特征表示来判断两个像素是否来自同一对象。在推理过程中，学习到的对象亲和可以进一步通过某些图划分算法转换为实例分割掩膜。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个 ………………………………