3D分割里程碑！SAM2Point联合SAM2，首次实现任意3D场景、任意Prompt的分割

文章预览

文章链接： https://arxiv.org/pdf/2408.16768 在线Demo:  https://huggingface.co/spaces/ZiyuG/SAM2Point 代码链接： https://github.com/ZiyuGuo99/SAM2Point ▲ 图1 SAM2POINT 的分割范式 重点概述： 无需投影到 2D 的 SAM 2 分割方案： SAM2POINT 通过将 3D 数据体素化为视频格式，避免了复杂的 2D 至 3D 的投影，实现了高效的零样本 3D 分割，同时保留了丰富的空间信息。 支持任意用户提示（Prompt）： 该方法支持 3D 点、3D 框和 Mask 三种提示类型，实现了灵活的交互式分割，增强了 3D 分割的精确度和适应性。 泛化任何 3D 场景： SAM2POINT 在多种 3D 场景中表现出优越的泛化能力，包括单个物体、室内场景、室外场景和原始 LiDAR 数据, 显示了良好的跨领域转移能力。 SAM2POINT，是 3D 可提示分割领域的初步探索，将 Segment Anything Model 2（SAM 2）适配于零样本和可提示的 3D 分割。SAM2POINT 将任何 3D 数据 ………………………………