理想汽车&中科院 | PlanAgent：使用MLLM的自动驾驶闭环运动规划

文章预览

Arxiv：https://arxiv.org/pdf/2406.01587 本期概述 哈喽大家早上好！周一的调参还顺利嘛！ 不得不说，理想汽车在端到端自动驾驶上确实有一手，我们今天继续学习理想汽车参与研究的论文：PlanAgent。在此之前，请回顾"理想汽车"专栏！ 理想汽车：UA-Track，3D多目标跟踪（MOT）框架 CVPR 2024 | 理想汽车方案：场景数据检索方法处理长尾问题 理想汽车自动驾驶方案 | DriveVLM：自动驾驶与大型视觉语言模型的融合方法 Rule_Based的规划方案无法解决长尾问题，为此，提出了PlanAgent，基于多模态大语言模型（MLLM）的规划系统。 PlanAgent的创新点在于： MLLM 应用于 闭环运动规划 ：首次将MLLM引入闭环自动驾驶规划。 环境表示方法 ：通过车道图的形式生成文本描述，减少无效信息输入。 闭环仿真反思机制 ：仿真与评分机制，确保生成的规划在执行前得到验证。 PipeLine Plan ………………………………