驶向未来（Drive-WM）：用于自动驾驶的多视图视觉预测与规划的世界模型

文章预览

Abstract 在自动驾驶中，提前预测未来事件和评估可预见的风险使得自动驾驶车辆能够更好地规划其行动，从而提高道路上的安全性和效率。为此，我们提出了Drive-WM，这是第一个兼容现有端到端规划模型的驾驶世界模型。通过视图分解实现的时空联合建模，我们的模型可以在驾驶场景中生成高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的Drive-WM能够基于不同的驾驶动作驶向多个未来，并根据基于图像的奖励确定最优轨迹。在真实驾驶数据集上的评估验证了我们的方法能够生成高质量、一致且可控的多视图视频，为现实世界的模拟和安全规划开辟了新的可能性。 代码地址：https://github.com/BraveGroup/Drive-WM  欢迎加入自动驾驶实战群 Introduction 端到端自动驾驶的兴起最近引起了越来 ………………………………