CVPR竞赛冠军方案：复杂场景下的视频对象分割

文章预览

关注公众号，发现CV技术之美 由鹏城实验室、哈工大深圳和University of California at Merced组成的团队在CVPR2024 PVUW比赛的MOSE视频对象分割赛道获得冠军。 竞赛及数据集：https://henghuiding.github.io/MOSE/ChallengeCVPR2024 技术报告：https://arxiv.org/abs/2406.04600 视频对象分割（VOS）是一项广泛应用于自动驾驶、增强现实和交互式视频编辑等领域，其主要任务是从视频序列中跟踪和分割目标对象。然而，当前的VOS方法面临许多挑战，如目标外观的显著变化、遮挡以及由于类似对象和背景杂乱导致的身份混淆，尤其在处理长视频和复杂真实环境视频时，这些问题更加突出。 为了应对这些挑战，团队提出了一种新的VOS框架，通过学习语义先验和辨别性查询表示来提升性能， 如图1所示。 图1 整体框架 由于VOS任务涉及的是没有类别标签的通用对象，从VOS数据集中直接学习语义 ………………………………