VLM-AD：通过视觉语言模型监督实现端到端自动驾驶

文章预览

点击蓝字 关注我们 今天给大家带来通用汽车旗下无人驾驶部门Cruise LLC最新的大模型论文。 【论文标题】 VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision 【论文链接】https://arxiv.org/pdf/2412.14446v1  1 摘要 人类驾驶员依靠常识推理来驾驭现实世界中的各种动态场景。现有的端到端（E2E）自动驾驶（AD）模型通常是为了模仿数据中观察到的驾驶模式而优化的，并没有捕捉到潜在的推理过程。这种局限性限制了它们处理具有挑战性的驾驶场景的能力。 为了缩小这一差距提出了 VLM-AD 方法，该方法利用视觉语言模型（VLMs）作为教师，通过提供额外的监督（包含非结构化推理信息和结构化动作标签）来加强训练。 这种监督增强了模型学习更丰富特征表征的能力，从而捕捉到驾驶模式背后的原理。 重要的是，本文方法在推理过程中不需要 VLM，因 ………………………………