清华大学最新成果 3D 语义占用预测框架 GaussianFormer ！

文章预览

3D语义占用预测旨在获取周围场景的3D细粒度几何和语义信息，这对于视觉中心的自动驾驶的鲁棒性是一个重要的任务。大多数现有方法使用密集网格（如 Voxel ）作为场景表示，这忽略了占用的稀疏性以及目标规模多样性，从而导致资源分配不平衡。 为了解决这个问题，作者提出了一种以目标为中心的表示方法，用稀疏的3D语义高斯描述3D场景，其中每个高斯代表一个灵活的兴趣区域及其语义特征。 作者通过注意力机制从图像中聚合信息，并迭代地改进3D高斯属性，包括位置、协方差和语义。 然后，作者提出了一种高效的从高斯到 Voxel 的喷射方法来生成3D占用预测，该方法仅对特定位置的邻近高斯进行聚合。作者在广泛采用的nuScenes和KITTI-360数据集上进行了大量实验。 实验结果表明，GaussianFormer在仅消耗最先进方法的17.8% - 24.8%内存的情况下，实现 ………………………………