全面超越OccWorld！Occ-LLM：Occ世界模型再度问鼎SOTA（港科大&华为诺亚）

文章预览

写在前面 & 出发点 大语言模型（LLMs）在机器人和自动驾驶领域取得了重大进展。本研究提出了首个基于占用的大语言模型（Occ-LLM），这是将大语言模型与一种重要表示方式相结合的开创性尝试。为了有效地将占用信息编码为大语言模型的输入，并解决与占用相关的类别不平衡问题，研究提出了运动分离变分自编码器（MS-VAE）。这种创新方法利用先验知识，在将动态对象和静态场景输入定制的变分自编码器（VAE）之前进行区分。这种分离增强了模型专注于动态轨迹的能力，同时有效地重建静态场景。Occ-LLM在关键任务中的有效性得到了验证，包括4D占用预测、自车规划和基于占用的场景问答。综合评估表明，Occ-LLM显著优于现有的最先进方法，在4D占用预测任务中，交并比（IoU）提高了约6%，平均交并比（mIoU）提高了4%。这些发现凸显了Occ-LLM在重塑机 ………………………………