清华大学&加州大学发布流式密集4D重建模型Driv3R: 无需全局对齐实现15倍的推理提升

文章预览

Abstract 实时4D动态场景重建仍然是自动驾驶感知的一个重要挑战。大多数现有方法依赖于通过自监督或多模态传感器融合进行深度估计。在本文中，我们提出了一种基于DUSt3R框架的Driv3R方法，可以直接从多视图图像序列中回归每帧点云图。为了实现流式密集重建，我们维护了一个内存池，用以推断传感器之间的空间关系以及动态时间上下文，从而增强多视图的3D一致性和时间整合。此外，我们采用了4D流预测器来识别场景中的移动物体，以便引导网络更加关注这些动态区域的重建。最后，我们以一种无需优化的方式，将所有每帧点云图一致地对齐到世界坐标系。我们在大规模nuScenes数据集上进行了广泛实验，评估了该方法的有效性。Driv3R在4D动态场景重建方面优于以前的框架，并在不需要全局对齐的情况下实现了15倍的推理速度提升。 代码获取 ：https ………………………………