首个利用视频生成改善驾驶重建的世界模型方法

文章预览

本文来源：自动驾驶之心（ID：whwx_runner） 写在前面 & 笔者的个人理解 闭环仿真对于推进端到端自动驾驶系统至关重要。当代的传感器仿真方法，如NeRF和3DGS，主要依赖于与训练数据分布紧密一致的条件，这些条件在很大程度上局限于前向驾驶场景。因此，这些方法在渲染复杂的机动动作（如变道、加速、减速）时面临局限性。自动驾驶世界模型的最新进展已经证明了生成多样化驾驶视频的潜力。然而，这些方法仍然局限于2D视频生成，固有地缺乏捕捉动态驾驶环境复杂性所需的时空连贯性。 本文介绍了DriveDreamer4D，它利用世界模型先验增强了4D驾驶场景表示。 具体来说，我们利用世界模型作为数据机器，基于现实世界的驾驶数据合成新的轨迹视频。值得注意的是，我们明确地利用结构化条件来控制前景和背景元素的时空一致性，因此生成的数据 ………………………………