渲染速度提高5倍！GaussianOcc：借助3D GS，没有标注也能做Occ（东京大学）

主要观点总结

本文介绍了基于Gaussian Splatting的完全自监督高效3D占用率估计方法。通过引入Gaussian Splatting，实现了无需真实姿态的3D占用率估计，同时提高了计算效率。相关工作介绍、主要方法和实验结果也进行了详细介绍。

关键观点总结

关键观点1: 研究背景

近年来，无论是以视觉为中心还是以网格为中心的感知方法，在自动驾驶行业和学术界都受到了广泛关注。其中，环视3D占用率估计已成为一项核心感知任务。为了解决现有方法的限制，本文探索了基于Gaussian Splatting的完全自监督且高效的3D占用率估计方法。

关键观点2: 主要贡献

1. 引入了首个完全自监督的高效环视3D占用率估计方法，以Gaussian Splatting为特色。2. 提出了用于跨视图投影的Gaussian Splatting，以提供尺度信息，从而消除训练过程中对真实6D姿态的需求。3. 提出了从体素空间进行Gaussian Splatting的方法，与volume渲染相比，该方法在训练速度和渲染速度上都有了显著提高，同时实现了具有竞争力的性能。

关键观点3: 相关工作介绍

现有方法主要基于volume渲染进行3D占用率估计，但存在对真实6D姿态的依赖、训练过程中的标注负担重、以及volume渲染的低效性等问题。本文的工作旨在解决这些问题，提出一种更加通用且高效的自监督3D占用率估计范式。

关键观点4: 主要方法

本文研究了使用3D Gaussian Splatting进行完全自监督的3D占用率估计。通过引入Gaussian Splatting，实现了跨视图splatting，提高了渲染效率，并消除了对真实6D姿态的需求。具体方法包括跨视图Gaussian Splatting、体素网格Gaussian Splatting、损失函数的设计等。

关键观点5: 实验结果

在nuScenes数据集上进行实验，结果显示该方法在3D占用率估计和深度估计方面取得了具有竞争力的性能。此外，在DDAD数据集上也进行了定性展示。

文章预览

今天自动驾驶Daily今天为大家分享一篇Gaussian+Occupancy相关的工作 写在前面 GaussianOcc是一种系统方法，它研究了Gaussian Splatting的两种用途，用于在环视图中实现完全自监督且高效的3D占用率估计。首先，传统的自监督3D占用率估计方法在训练过程中仍然需要来自传感器的真实6D姿态。为了克服这一限制，这里提出了用于投影的Gaussian Splatting（GSP）模块，以通过相邻视图投影为完全自监督训练提供准确的尺度信息。此外，现有方法依赖于volume渲染，利用2D信号（深度图、语义图）进行最终的3D体素表示学习，这既耗时又低效。这里提出了来自体素空间的Gaussian Splatting（GSV），以利用Gaussian Splatting的快速渲染特性。 因此，所提出的GaussianOcc方法能够以具有竞争力的性能实现完全自监督（无需真实姿态）的3D占用率估计，同时计算成本较低（训练速度提高2.7倍 ………………………………