使用LLM提示多模态tokens来增强端到端自动驾驶的模仿学习

文章预览

24年4月来自悉尼科技大学和香港科技大学广州分校的论文“Prompting Multi-Modal Tokens to Enhance End-to-End Autonomous Driving Imitation Learning with LLMs”。 大语言模型 (LLM) 在强化学习领域的应用，尤其是作为规划器，在最近的学术文献中引起了广泛关注。然而，现有研究中的很大一部分主要集中在机器人的规划模型上，这些模型将感知模型的输出转化为语言形式，从而采用了“纯语言”策略。在这项研究中，提出一种用于自动驾驶的混合端到端学习框架，将基本的驾驶模仿学习与基于LLM的多模态提示tokens相结合。不是简单地将分离训练模型的感知结果转换为纯语言输入，而是做以下改进：1) 将视觉和激光雷达传感器数据的端到端集成，输入到可学习的多模态tokens中，从而从本质上缓解了分离预训练感知模型的描述偏差。2) 不直接让 LLM 驾驶，而是探索一种混合设 ………………………………