【威斯康星大学麦迪逊分校】VLM-MPC：自动驾驶中视觉语言基础模型（VLM）引导的模型预测控制器（MPC）

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2408.04821 摘要 本文介绍了VLM-MPC：自动驾驶中视觉语言基础模型（VLM）引导的模型预测控制器（MPC）。受到视觉语言模型（VLMs）紧急推理能力及其提高自动驾驶系统理解力的启发，本文引入了一种闭环自动驾驶控制器，称为VLM-PLC，其结合了用于高级决策的VLM和用于低级车辆控制的模型预测控制器（MPC）。本文所提出的VLM-MPC系统在结构上分为两个异步组件：上层VLM和下层MPC。上层VLM基于前视相机图像、自车状态、交通环境条件和参考内存来生成用于下层控制的驾驶参数。下层MPC通过这些参数实时控制车辆，其考虑了发动机滞后并且向整个系统提供了状态反馈。基于nuScenes数据集的实验验证了所提出的VLM-MPC系统在各种场景（例如夜晚、下雨、十字路 ………………………………