DrivingDojo 数据集：交互式和知识-丰富驾驶世界模型

文章预览

24年10月来自中科院自动化所、中科院大学、美团和中科院香港科学创新研究院的论文“DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model”。 驾驶世界模型因其能够对复杂的物理动态进行建模而受到越来越多的关注。然而，由于当前驾驶数据集中的视频多样性有限，其出色的建模能力尚未得到充分释放。DrivingDojo，是一个专门为训练具有复杂驾驶动态的交互式世界模型而量身定制的数据集。该数据集包含具有完整驾驶操作、多样化多智体交互和丰富开放世界驾驶知识的视频片段，为未来的世界模型开发奠定了基础。而且为世界模型定义了一个动作指令跟随 (AIF) 基准，并展示了数据集在生成动作-控制的未来预测方面优势。 世界模型 [17, 20, 33, 21] 因其能够模拟复杂的现实世界物理动态而受到越来越多的关注。它们还具有作为通用模拟 ………………………………