3D分割新范式！浙大开源Reasoning3D：通过大视觉语言模型搞定3D部件分割

文章预览

点击下方 卡片 ，关注“ AIGC Studio ” 文章链接：https://arxiv.org/pdf/2405.19326 项目链接：http://tianrun-chen.github.io/Reason3D/ 今天和大家分享的是一项新任务：Zero-Shot 3D 推理分割，用于对象的部件搜索和定位。这是一种超越了以往类别特定的3D语义分割、3D实例分割和开放词汇3D分割的全新3D分割模式。本文设计了一种简单的baseline方法——Reasoning3D，具有理解和执行复杂命令的能力，能够对3D网格的特定部分进行细粒度的分割，同时具备上下文意识和推理答案以实现交互式分割。 具体而言，Reasoning3D利用了一个预训练的2D分割网络，并由大语言模型（LLMs）驱动，以Zero-Shot的方式解释用户输入的queries。先前的研究表明，大规模预训练赋予基础模型先验的世界知识，使其能够理解复杂命令，研究者们可以利用这一能力在有限的3D数据集上实现“分割任何东西” ………………………………