驶向『闭环』| LMDrive：首篇基于LLM的闭环端到端自动驾驶（MMLab&商汤）

文章预览

论文作者 | 汽车人 写在前面 & 笔者的个人理解 汽车人这两天在arxiv上看到了港中文MMLab & 商汤的一篇关于闭环自动驾驶的工作，结合了大语言模型。不幸汤老师于12月15日与世长辞，R.I.P. 尽管自动驾驶领域最近取得了重大进展，但当遇到长尾不可预见事件和具有挑战性的城市场景时，现代方法仍然很困难，可能会发生严重事故。一方面，大型语言模型（LLM）已经显示出接近“通用人工智能”的表达推理能力。另一方面，先前的自动驾驶方法往往依赖于有限的格式输入（例如传感器数据和导航路线点），限制了车辆理解语言信息和与人类互动的能力。为此，港中文 & MMLab重磅推出LMDrive，这是一种全新的语言引导、端到端闭环自动驾驶框架。LM-Drive独特地处理并集成了多模态传感器数据与自然语言指令，使其能够在现实的教学环境中与人类和导航软件 ………………………………