Doe-1：采用大世界模型的闭环自动驾驶

文章预览

24年12月来自清华的论文“Doe-1: Closed-Loop Autonomous Driving with Large World Model”。 端到端自动驾驶因其从大量数据中学习的潜力而受到越来越多的关注。然而，大多数现有方法仍然是开环的，并且存在可扩展性弱、缺乏高阶交互和决策效率低下的问题。本文探索自动驾驶的闭环框架，并提出一个大型驾驶世界模型（Doe-1）用于统一感知、预测和规划。将自动驾驶制定为下一个token生成问题，并使用多模态tokens来完成不同的任务。具体而言，用自由格式的文本（即场景描述）进行感知，并使用图像tokens直接在 RGB 空间中生成未来预测。对于规划，用位置-觉察token化器将动作有效地编码为离散tokens。训练一个多模态Transformer，以端到端和统一的方式自回归生成感知、预测和规划tokens。在广泛使用的 nuScenes 数据集上进行的实验，证明 Doe-1 在各种任务中的有效性 ………………………………