[CVPR2024自动驾驶论文解读] 端到端大模型第一Hydra-MDP : 兼顾Close Loop Metric的端到端

文章预览

本文来源：知乎（ ID：zhihu） CVPR2024自驾大模型比赛结果公布 [1] ，英伟达研究员大模型Hydra-MDP [2] 获得了端到端模型赛道的第一名。本文讲对其进行解读。 主要特点 大模型在训练中不仅仅学习只预测ground truth轨迹。作者还引入了rule based驾驶规则的知识蒸馏概念， 但笔者认为其本质是学习一系列rule based的轨迹指标分数，并在inference的时候用预测出的轨迹分数对trajectory candidate进行排名。这样可以兼顾模拟人类的ground truth，同时满足不同rule based的多样性。Hydra就有九头蛇的意思，这里每一个目标(imitation or rule based)就是一个蛇头。 Hydra-MDP 整体架构 基础概念 这里符号 𝑂  表示传感器输入， 表示感知模块的ground truth，𝑃表示预测出的感知。 表示无人车的ground truth， 表示规划模块选择出的轨迹。 业界的大模型通常是多预测轨迹，单一目标函数，即预 ………………………………