南京大学提出高度解耦Occ DHD ：解决2D到3D视图转换中的特征混淆

文章预览

Abstract 基于视觉的3D占用预测任务旨在从2D彩色图像中重建3D几何结构并估计其语义类别，其中2D到3D的视图转换是不可或缺的一步。大多数先前的方法进行正向投影，如BEVPooling和VoxelPooling，这些方法都将2D图像特征映射到3D网格中。然而，当前代表某一高度范围内特征的网格通常引入了属于其他高度范围的混淆特征。为了解决这一挑战，我们提出了一种新颖的框架——深度高度解耦（DHD），该框架结合了明确的高度先验以过滤掉混淆特征。具体而言，DHD首先通过显式监督预测高度图。基于高度分布统计，DHD设计了掩码引导的高度采样（MGHS），以自适应地将高度图解耦为多个二值掩码。MGHS将2D图像特征投影到多个子空间中，每个网格包含合理高度范围内的特征。最后，部署协同特征聚合（SFA）模块，通过通道和空间关联性增强特征表示，进一步优化占 ………………………………