LMDrive: 大语言模型加持的闭环端到端自动驾驶框架

文章预览

本文转载自公众号：PaperWeekly，原作者：OpenDILab。 01 引言 ▲ 图1. LMDrive 框架功能概览图 说明：LMDrive 接收语言指令和多模态多视角的传感器数据作为输入，并实时输出决策控制信号，以应对各种各样复杂的驾驶场景。 大语言模型（Large Language Model，LLM）可谓是 2023 年最火热也最重要的人工智能子领域，在各类机器学习任务中都展现出了惊艳的效果，相关的上下游应用也都发展得十分迅速。而将大语言模型应用在自动驾驶领域也有一些优秀的研究成果，但这些工作主要集中于开环场景的模型设计和实验验证，缺少基于闭环场景和端到端的自动驾驶工作。 为了进一步探索大语言模型和自动驾驶结合的研究潜力，来自香港中文大学，商汤科技，以及 上海人工智能实验室 （OpenDILab 团队）等机构的研究者们提出了 第一个利用大语言模型进行闭环端到端 ………………………………