NeurIPS 2024收录！港科大&上海AI Lab提出高质量可控的自动驾驶世界模型Vista | 一作高深远博士主讲预告

文章预览

世界模型被业内认为是通往自动驾驶的唯一解。世界模型是真实世界的模拟，可以根据控制指令预测对应的未来并反馈给决策过程，从而有效地帮助智能体的训练和测试。 上海人工智能实验室OpenDriveLab联合香港科技大学等研究人员构建了迄今为止最大的公共驾驶数据集OpenDV-2K，其中包含超过2000小时的驾驶视频，比广泛使用的nuScenes数据集大374倍。基于OpenDV-2K还构建了自动驾驶领域中第一个大规模视频预测模型GenAD。该模型通过新颖的时间推理模块处理驾驶场景中的挑战性动态情况，超越了一般或驾驶特定的视频预测模型，在真实世界驾驶应用中的巨大潜力。与GenAD相关的论文收录于  CVPR 2024 Highlight 。 此外，针对现有的驾驶世界模型在泛化到未见环境、关键细节的预测保真度以及灵活应用的动作可控性方面存在的局限性。香港科技大学联合上海人 ………………………………