碰撞率减少80%，轨迹误差减少44%，使用蒸馏多模态语言模型解决规划中的长尾问题

文章预览

  摘要 自动驾驶需要安全的运动规划，特别是在关键的“长尾”场景中。最近端到端的自动驾驶系统利用大型语言模型（LLMs）作为规划器来提高对罕见事件的泛化能力。然而，在测试时使用LLMs引入了高计算成本。为了解决这个问题，我们提出了DiMA，一个端到端的自动驾驶系统，它在保持无LLM（或基于视觉）规划器的效率的同时，利用LLM的世界知识。DiMA通过一组专门设计的替代任务，将来自多模态LLM的信息蒸馏到一个基于视觉的端到端规划器。在联合训练策略下，两个网络共用的场景编码器产生结构化的表示，这些表示在语义上是接地的，并且与最终的规划目标对齐。值得注意的是，LLM在推理时是可选的，使得在不影响效率的情况下实现鲁棒的规划。使用DiMA进行训练导致基于视觉的规划器的L2轨迹误差减少了37%，碰撞率减少了80%，并且在长尾场 ………………………………