中国科学院大学与美团发布首个交互式驾驶世界模型数据集DrivingDojo：推进交互式与知识丰富的驾驶世界模型

文章预览

Abstract 驾驶世界模型因其对复杂物理动态的建模能力而受到越来越多的关注。然而，由于现有驾驶数据集中的视频多样性有限，其卓越的建模能力尚未得到充分发挥。为此，我们引入了 DrivingDojo，这是首个专门为训练具有复杂驾驶动态的交互式世界模型量身定制的数据集。该数据集包含完整的驾驶操作、多样化的多主体交互，以及丰富的开放世界驾驶知识，为未来世界模型的发展奠定了基础。我们进一步定义了一个基于行动指令跟随 (AIF) 的基准测试，展示了所提出数据集在生成行动控制的未来预测中的优势。 代码获取 ：https://drivingdojo.github.io  欢迎加入自动驾驶实战群 Introduction 世界模型因其能够对现实世界复杂的物理动态进行建模而备受关注，它们还具有作为通用模拟器的潜力，能够根据不同的行动指令预测未来状态。通过视频生成技术的进步 ………………………………