DriveDreamer4D：首个利用视频生成改善驾驶重建的世界模型方法

文章预览

讲座预告 10月25日晚7点 ，香港科技大学在读博士、上海AI Lab OpenDriveLab实习研究员高深远，将以 《构建通用可泛化的自动驾驶世界模型》 为主题进行直播讲解，欢迎扫码报名~ 01 写在前面 & 笔者的个人理解 闭环仿真对于推进端到端自动驾驶系统至关重要。当代的传感器仿真方法，如NeRF和3DGS，主要依赖于与训练数据分布紧密一致的条件，这些条件在很大程度上局限于前向驾驶场景。因此，这些方法在渲染复杂的机动动作（如变道、加速、减速）时面临局限性。自动驾驶世界模型的最新进展已经证明了生成多样化驾驶视频的潜力。然而，这些方法仍然局限于2D视频生成，固有地缺乏捕捉动态驾驶环境复杂性所需的时空连贯性。本文介绍了DriveDreamer4D，它利用世界模型先验增强了4D驾驶场景表示。具体来说，我们利用世界模型作为数据机器，基于现实 ………………………………