分层多代理驾驶系统 AD-H，利用语言模型提升自动驾驶的适应性和性能 ！

文章预览

由于多模态大型语言模型（MLLMs）的出色能力，近期的研究集中在了使用基于MLLM的代理来自动驾驶在大型和动态环境中。然而，常见的做法常常直接将高级指令转换为低级车辆控制信号，这偏离了MLLM固有的语言生成范式，未能充分利用它们的潜在能力。 因此，这些方法的一般性受到了在微调期间所使用的自动驾驶数据集的高度限制。 为了应对这一挑战，作者提出通过中间 Level 的语言驱动命令来连接高级指令和低级控制信号，这些命令比高级指令更细化，但比控制信号更通用和可解释，从而有效地弥合了它们之间的差距。 作者通过一个名为AD-H的分层多代理驾驶系统来实现这一想法，包括一个用于高级推理的MLLM规划器和用于低级执行的轻量级控制器。这种分层设计解放了MLLM从低级控制信号解码的任务，从而使其在高层次感知、推理和规划中完全 ………………………………