【香港科技大学和华为】Occ-LLM：利用基于占用的大型语言模型增强自动驾驶

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2502.06419 摘要 本文介绍了Occ-LLM：利用基于占用的大型语言模型增强自动驾驶。大型语言模型（LLMs）在机器人和自动驾驶领域中取得了重大的进步。本项研究提出了首个基于占用的大型语言模型（Occ-LLM），它代表了将LLMs与重要表示相结合的开创性工作。为了有效地将占用编码为LLM的输入并且解决与占用相关的类别不平衡问题，本文提出了运动分离变分自编码器（MS-VAE）。该创新方法利用了先验知识，在将动态目标输入到变分自编码器（VAE）之前将其与静态场景分离。这种分离增强了模型在有效重建静态场景的同时专注于动态轨迹的能力。Occ-LLM的有效性在关键任务中得以验证，包括4D占用预测、自车规划和基于占用的场景问答。综合评估表明，Occ ………………………………