顶刊 IJCV | S2P3：基于偏振光的自监督姿态预测

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 S2P3: Self-Supervised Polarimetric Pose Prediction S2P3：基于偏振光的自监督姿态预测 Patrick RuhkampDaoyi GaoBenjamin Busam 摘要 本文提出了一种新颖的自我监督6D物体姿态预测方法，该方法基于多模态RGB+极化图像。该训练范式包括：(1) 一个物理模型来提取极化光的几何信息，(2) 一种师生知识蒸馏方案，以及(3) 通过可微渲染和可逆物理约束形成的自我监督损失公式。两个网络都利用极化光的物理特性来学习鲁棒的几何表示，通过编码从我们的物理模型派生的形状先验和极化特性。来自教师网络的几何伪标签支持学生网络，无需标注的真实数据。通过可微渲染器获取对象的密集外观和几何信息，与预测的姿态直接耦合进行自我监督。学生网络还具有我们提出的物理形状先验的可逆公式 ………………………………