武大提出 PlaneSAM 使用分割任意模型的多模态平面实例分割 ！

文章预览

基于RGB-D数据的平面实例分割是许多下游任务（如室内3D重构）的关键研究主题。 然而，大多数现有的基于深度学习的平面实例分割方法仅利用RGB波段的信息，忽视了平面实例分割中深度波段的重要作用。 基于EfficientSAM，Segment Anything Model（SAM）的快速版本，作者提出了一种名为PlaneSAM的平面实例分割网络，该网络可以充分利用RGB波段（光谱波段）和D波段（几何波段）的信息，从而以多模态方式提高平面实例分割的有效性。 1 Introduction 飞机实例分割旨在从点云或图像数据中识别和提取平面，这些数据对应于3D场景。它已在摄影测量学和计算机视觉的许多子领域得到广泛应用，例如室内3D重构，室内移动映射[8]，户外3D重构，自动驾驶[12]，增强现实[13]，以及SLAM[14]。通过在3D场景中分割平面区域，作者可以获取重要几何和语义信息，以便更好地理解和 ………………………………