CVPR 2024 | 自动驾驶世界模型四维时空预训练

北京大学与EVOL创新团队共同提出面向自动驾驶的四维时空预训练算法DriveWorld。该方法采用世界模型进行预训练，设计记忆状态空间模型进行四维时空建模，通过预测场景的占据栅格，降低自动驾驶面临的随机不确定性和知识不确定性。该论文已被CVPR 2024接收。论文题目：DriveWorld: 4D Pre-trained Scene Understanding via World Models for Autonomous Driving 论文链接：https://arxiv.org/abs/2405.04390GitHub主页：https://zhaoj9014.github.io一、动机自动驾驶的场景理解任务涉及到对场景的感知和预测未来变化等多个层面，这些层面不仅包括空间上的三维结构，还包含时间维度上的动态变化。这种复杂的场景理解要求模型能够捕捉和理解四维时空的内在关联，从而做出准确的决策。由于自然场景的随机性、环境的局部可观测性以及各种下游任务的多样性，学习四维时空表示是极具挑战 ………………………………