规划误差降低27%，碰撞率降低33%Senna: 大规模视觉-语言模型与端到端自动驾驶相结合

文章预览

Abstract 端到端自动驾驶在大规模数据中展示了强大的规划能力，但在复杂、罕见的场景中仍然因常识有限而表现不佳。相比之下，大型视觉语言模型（LVLMs）在场景理解和推理方面表现出色。前进的方向在于融合两者的优势。以往利用LVLMs预测轨迹或控制信号的方法效果不佳，因为LVLMs并不适合精确的数值预测。本文提出了Senna，一个结合LVLM（Senna-VLM）与端到端模型（Senna-E2E）的自动驾驶系统。Senna将高层次规划与低层次轨迹预测分离。Senna-VLM以自然语言生成规划决策，而Senna-E2E则预测精确的轨迹。Senna-VLM采用多图像编码方法和多视角提示以实现高效的场景理解。此外，我们引入了面向规划的问答及三阶段训练策略，从而在保持常识的同时提升了Senna-VLM的规划性能。在两个数据集上的大量实验显示，Senna达到了最先进的规划性能。值得注意的是，经过 ………………………………