ECCV'24 SegPoint：通过LLM分割任意点云（南洋理工&复旦）

文章预览

作者 | Shuting He  编辑 | 3D视觉之心 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 BEV感知 』 技术交流群 本文只做学术分享，如有侵权，联系删文 写在前面 尽管在3D点云分割领域取得了显著进展，但现有方法主要针对特定任务，并依赖于明确的指令来识别目标，缺乏在统一框架中推断和理解用户隐式意图的能力。在本研究中，我们提出了一种名为SegPoint的模型，该模型利用多模态大型语言模型（LLM）的推理能力，在多种任务中生成逐点分割掩码：1）3D指令分割，2）3D指代分割，3）3D语义分割，以及4）3D开放词汇语义分割。为了推动3D指令研究的发展，这里还引入了一个新的基准数据集Instruct3D，旨在从复杂且隐式的指令文本中评估分割性能，该数据集包含2,565个点云-指 ………………………………