迈向『闭环』| PlanAgent：基于MLLM的自动驾驶闭环规划新SOTA！

文章预览

👀 导读 本文分享中科院自动化所 & 理想汽车最新的工作—PlanAgent，文章提出一种全新基于多模态大语言模型MLLM的自动驾驶闭环规划框架，问鼎nuPlan SOTA！ 中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型MLLM的自动驾驶闭环规划框架—PlanAgent。该方法以场景的鸟瞰图和基于图的文本提示为输入，利用多模态大语言模型的多模态理解和常识推理能力，进行从场景理解到横向和纵向运动指令生成的层次化推理，并进一步产生规划器所需的指令。在大规模且具有挑战性的nuPlan基准上对该方法进行了测试，实验表明PlanAgent在常规场景和长尾场景上都取得了最好(SOTA)性能。与常规大语言模型(LLM)方法相比，PlanAgent所需的场景描述词符(token)量仅为1/3左右。 论文信息 论文题目：PlanAgent: A Multi-modal Large Language Agent for Closed loo ………………………………