【复旦大学和清华大学】OccLLaMA：自动驾驶中占用-语言-行为生成世界模型

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2409.03272 摘要 本文介绍了OccLLaMA：自动驾驶中占用-语言-行为生成世界模型 。多模态大型语言模型（MLLMs）的兴起推动了它们在自动驾驶中的应用。最近基于MLLM的方法通过学习从感知到行为的直接映射来执行行为，忽略了世界的动态变化以及行为与世界动态变化之间的关系。相比之下，人类拥有世界模型，使其能够基于3D内部视觉表示来模拟未来状态，并相应地规划行为。为此，本文提出了OccLLaMA，这是一种占用-语言-行为生成世界模型，其使用语义占用作为作为通用的视觉表示，并且通过自回归模型统一视觉-语言-行为（VLA）模态。具体而言，本文引入了一种新的类似VQVAE的场景tokenizer，以高效地离散化和重建语义占用场景，同时考虑到其稀疏性 ………………………………