NTA-IoU指标提升超42%，北京大学提出首个使用世界模型提升自动驾驶场景重建质量DriveDreamer4D

文章预览

Abstract 闭环仿真是推进端到端自动驾驶系统的重要环节。当代传感器仿真方法，如NeRF和3DGS，主要依赖与训练数据分布高度一致的条件，这通常局限于前向驾驶场景。因此，这些方法在渲染复杂的机动动作（如变道、加速、减速）时存在局限性。近年来，自动驾驶世界模型在生成多样化驾驶视频方面展现了潜力，但这些方法仍然局限于二维视频生成，无法捕捉动态驾驶环境所需的时空一致性。在本文中，我们提出了DriveDreamer4D，通过利用世界模型先验知识提升4D驾驶场景表示。具体来说，我们将世界模型作为数据机器，基于真实世界的驾驶数据生成新颖的轨迹视频。值得注意的是，我们明确利用结构化条件来控制前景和背景元素的时空一致性，从而使生成的数据严格遵循交通约束。据我们所知，DriveDreamer4D是第一个利用视频生成模型来提升驾驶场景4D ………………………………