【香港科技大学】LLMCoDrive：基于大型多模态模型的协同驾驶

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2409.11981 代码链接：https://github.com/henryhcliu/LMMCoDrive 摘要 本文介绍了LLMCoDrive：基于大型多模态模型的协同驾驶 。为了应对自主按需出行（AMoD）系统中分散协同调度和运动规划所带来的复杂挑战，本文引入了LMMCoDrive，这是一种新的协同驾驶框架，其利用大型多模态模型（LMM）来提高动态城市环境中的交通效率。该框架无缝集成了调度和运动规划过程，以确保协同自动驾驶汽车（CAVs）的有效运行。CAVs和乘客请求之间的空间关系被抽象为鸟瞰图（BEV），以充分利用LMM的潜力。此外，每辆CAV的轨迹都经过谨慎优化，同时通过安全性约束确保了避障。本文提出了一种由LMM框架内交替方向乘子法（ADMM）促进的分散优化策略，以驱动CAVs的图演化。仿真结果 ………………………………