CVPR 2024 | 3D开放世界场景感知理解新SOTA！

文章预览

摘要 · 看点 场景级别的 3D 开放世界感知一直是一个饱受关注的问题，是具身智能和机器人领域非常重要的一个能力。 在模型测试阶段，如果能够对于任意指定的类别进行语义和物体级别的分割，就能够帮助非常多下游的应用。 最近，来自香港大学和商汤科技的研究团队，提出了一种直接结合点云和自然语言的新开放世界理解算法 RegionPLC (RegionPLC 能够在未训练过的类别上都得到很好的分割结果）。 而且无需额外训练，RegionPLC 就可以和大语言模型如 GPT4 结合进行一些场景级别的开放问答，并借助 RegionPLC 的 grounding 能力分割出相应的类别，相应的和大语言模型结合的版本，被称之为 RegionGR 。 论文名称：RegionPLC: Regional Point-Language Contrastive Learning for Open-World 3D Scene Understanding RegionPLC具体算法 RegionPLC 在前作 PLA 的基础上，扩展到了更细粒度的区域级别 ………………………………