【浙江大学和华为】在占用世界中驾驶：自动驾驶中基于世界模型实现以视觉为中心的4D占用预测和规划

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2408.14197 摘要 本文介绍了在占用世界中驾驶：自动驾驶中基于世界模型实现以视觉为中心的4D占用预测和规划 。世界模型基于各种自身行为设想潜在的未来状态。它们嵌入关于驾驶环境的大量知识，有助于实现安全且可扩展的自动驾驶。大多数现有方法主要着重于数据生成或者世界模型的预训练范式。与上述先前工作不同，本文提出了Drive-OccWorld，它将以视觉为中心的4D预测世界模型应用于自动驾驶的端到端规划。具体而言，本文首先在记忆模块中引入语义和运动条件归一化，其从历史BEV嵌入中累积语义和动态信息。然后，将这些BEV特征传入世界解码器，以实现未来占用和流预测，同时考虑几何和时空建模。此外，本文提出将灵活的行为条件（例 ………………………………