遥遥领先！浙大&华为PanopticRecon：新型RGB-D零样本分割全景重建方法

文章预览

点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 零样本分割的挑战 早期方法通过设计规则将语义分割标注的扫描进行集成进行语义重建，如基于SuMa++[2]，这些方法的一个弱点是几何和语义的单独优化。随着隐式神经表示方法取得了巨大成功，允许端到端的语义重建， 开放词汇语义线索进一步被用于零样本语义重建 ，消除了对未见类别的人类注释和分割网络训练的需求。 PNF[3]和panoptic NeRF[4]率先 将语义重建方法扩展到全景重建 ，通过用2D全景标签和3D实例边界框替换语义标签，并进一步假设已知的3D实例ID和每帧2D实例ID之间的数据关联。对于零样本全景重建，由于没有开放词汇全景分割VLM，PVLFF提议蒸馏两个VLM的特征用于 开放词汇语义分割 和 实例分割 （SAM[5])。由于SAM无法实现对象级分 ………………………………