端到端自动驾驶的核心：Foundation Models基石大模型

文章预览

传统分段式和规则（强监督、手工标注数据集）的自动驾驶技术路线面临瓶颈，提升非常困难，以nuScenes detection task的NDS得分为例，人类在一年内的提升仅有0.001。 随着ChatGPT之类大模型的出现，自动驾驶立刻转向端到端的路线，虽然目前最顶级的端到端和传统算法仍有非常大的差距，但人类认为端到端路线有着很大的提升空间，自动驾驶领域几乎全部转向端到端，实际端到端对存储和算力要求很高，目前完全达不到实用阶段，但现阶段，如果你不说端到端，就等于说自己低端落后。 VLM自动驾驶架构 整个过程可以分解为感知、规划、场景决策和动作几个部分，每一部分都是一问一答。就好像ChatGPT那种问答。 图片来源：论文《DriveLM: Driving with Graph Visual Question Answering》 端到端的核心是Foundation Models基石大模型，这些大模型由大型科技公司花费巨资训 ………………………………