【NeurIPS2024】无需3D数据的开放词汇单目3D物体检测模型训练

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 在本研究中，我们提出了一种新颖的开放词汇单目3D物体检测框架，称为OVM3D-Det，该框架仅使用RGB图像训练检测器，使其在成本效益和可扩展性方面具有优势，并能够利用公开数据。 开放词汇3D物体检测最近因其在自动驾驶和机器人领域的广泛应用而受到广泛关注，旨在有效识别之前未见过的新类别。然而，现有的基于点云的开放词汇3D检测模型受限于高昂的部署成本。在本研究中，我们提出了一种新颖的开放词汇单目3D物体检测框架，称为OVM3D-Det，该框架仅使用RGB图像训练检测器，使其在成本效益和可扩展性方面具有优势，并能够利用公开数据。与传统方法不同，OVM3D-Det不需要高精度的LiDAR或3D传感器数据作为输入，也不需要用于生成3D边界框。相反，它采用开放词汇的2D模型和伪LiDAR自动标注RGB图像中的3 ………………………………