开放词汇3D物体检测新SOTA！港科大、华为联合发布CoDAv2

文章预览

论文标题： Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection 论文链接： https://arxiv.org/abs/2406.00830 代码主页： https://github.com/yangcaoai/CoDA_NeurIPS2023 摘要 开放词汇 3D 物体检测（OV-3DDet）针对的是在 3D 场景中检测来自任意新类别列表的物体。如上图所示，模型仅由绿色框表示的基础类别（base category）的标注训练，但却可以检测出蓝色框表示的新颖类别（novel category）的物体。这仍然是一个非常具有挑战性的新问题。 在这项工作中，我们提出了 CoDAv2，这是一个统一的框架，旨在创新地解决有限基础类别条件下新颖 3D 物体的定位和分类问题。对于定位，我们提出的 3D 新颖物体发现（3D novel object discovery, 3D-NOD）策略利用 3D 几何先验和 2D 开放词汇语义先验在训练期间发现新物体的伪标签。 3D-NOD 进一步扩展了一个数据 ………………………………