【PanoSLAM：将几何重建、3D语义分割和3D实例分割集成在一个统一框架内的SLAM系统】

文章预览

《PanoSLAM: Panoptic 3D Scene Reconstruction via Gaussian SLAM》介绍了一种名为PanoSLAM的方法，该方法是第一个将几何重建、3D语义分割和3D实例分割集成在一个统一框架内的SLAM系统。PanoSLAM基于3D高斯展开技术，并进行了关键的修改，以实现从任意视点高效渲染深度、颜色、语义和实例信息。 为了从连续的RGB-D视频中实现全景3D场景重建，PanoSLAM提出了一个在线空间-时间提升（Spatial-Temporal Lifting, STL）模块，该模块将视觉模型的2D全景预测转换为3D高斯表示。STL模块通过在多视图输入中细化伪标签来解决标签噪声和2D预测中的不一致性问题，从而创建一个一致的3D表示，提高分割精度。 实验结果表明，PanoSLAM在映射和跟踪精度方面优于现有的语义SLAM方法，并且首次实现了从RGB-D视频直接进行开放世界环境的全景3D重建。 ………………………………