【地平线】HE-DRIVE：基于视觉语言模型的类人端到端驾驶

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2410.05051 项目主页：https://jmwang0117.github.io/HE-Drive/ 摘要 本文介绍了HE-DRIVE：基于视觉语言模型的类人端到端驾驶。本文提出了HE-Drive：首个以人类为中心的端到端自动驾驶系统，它可以生成时间一致且舒适的轨迹。最新的研究表明，基于模仿学习的规划器和基于学习的轨迹评分器可以有效地生成和选择接近专家演示的精确轨迹。然而，这类轨迹规划器和评分器面临着生成时间不一致且不舒适轨迹的困境。为了解决上述问题，本文的HE-Drive首先通过稀疏感知提取关键的3D空间表示，然后将其作为基于条件去噪扩散概率模型（DDPM）的运动规划器的条件输入，以生成时间一致的多模态轨迹。视觉语言模型（VLM）引导的轨迹评分器随后从这些候选轨迹中选 ………………………………