专栏名称: Ai fighting
本公众号主要分享自动驾驶感知实战,从算法训练到模型部署。主要致力于3D目标检测,3D目标追踪,多传感器融合,Transform,BEV,OCC,模型量化,模型部署等方向的实战。
今天看啥  ›  专栏  ›  Ai fighting

渲染速度提高5倍!GaussianOcc:借助3D GS,没有标注也能做Occ(东京大学)

Ai fighting  · 公众号  · 科技自媒体  · 2024-08-27 22:35

主要观点总结

本文介绍了基于Gaussian Splatting的完全自监督高效3D占用率估计方法。通过引入Gaussian Splatting,实现了无需真实姿态的3D占用率估计,同时提高了计算效率。相关工作介绍、主要方法和实验结果也进行了详细介绍。

关键观点总结

关键观点1: 研究背景

近年来,无论是以视觉为中心还是以网格为中心的感知方法,在自动驾驶行业和学术界都受到了广泛关注。其中,环视3D占用率估计已成为一项核心感知任务。为了解决现有方法的限制,本文探索了基于Gaussian Splatting的完全自监督且高效的3D占用率估计方法。

关键观点2: 主要贡献

1. 引入了首个完全自监督的高效环视3D占用率估计方法,以Gaussian Splatting为特色。2. 提出了用于跨视图投影的Gaussian Splatting,以提供尺度信息,从而消除训练过程中对真实6D姿态的需求。3. 提出了从体素空间进行Gaussian Splatting的方法,与volume渲染相比,该方法在训练速度和渲染速度上都有了显著提高,同时实现了具有竞争力的性能。

关键观点3: 相关工作介绍

现有方法主要基于volume渲染进行3D占用率估计,但存在对真实6D姿态的依赖、训练过程中的标注负担重、以及volume渲染的低效性等问题。本文的工作旨在解决这些问题,提出一种更加通用且高效的自监督3D占用率估计范式。

关键观点4: 主要方法

本文研究了使用3D Gaussian Splatting进行完全自监督的3D占用率估计。通过引入Gaussian Splatting,实现了跨视图splatting,提高了渲染效率,并消除了对真实6D姿态的需求。具体方法包括跨视图Gaussian Splatting、体素网格Gaussian Splatting、损失函数的设计等。

关键观点5: 实验结果

在nuScenes数据集上进行实验,结果显示该方法在3D占用率估计和深度估计方面取得了具有竞争力的性能。此外,在DDAD数据集上也进行了定性展示。


文章预览

今天自动驾驶Daily今天为大家分享一篇Gaussian+Occupancy相关的工作 写在前面 GaussianOcc是一种系统方法,它研究了Gaussian Splatting的两种用途,用于在环视图中实现完全自监督且高效的3D占用率估计。首先,传统的自监督3D占用率估计方法在训练过程中仍然需要来自传感器的真实6D姿态。为了克服这一限制,这里提出了用于投影的Gaussian Splatting(GSP)模块,以通过相邻视图投影为完全自监督训练提供准确的尺度信息。此外,现有方法依赖于volume渲染,利用2D信号(深度图、语义图)进行最终的3D体素表示学习,这既耗时又低效。这里提出了来自体素空间的Gaussian Splatting(GSV),以利用Gaussian Splatting的快速渲染特性。 因此,所提出的GaussianOcc方法能够以具有竞争力的性能实现完全自监督(无需真实姿态)的3D占用率估计,同时计算成本较低(训练速度提高2.7倍 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览
推荐文章