Waymo玩明白了！提出端到端自动驾驶多模态模型EMMA：规划、感知、静态元素一网打尽~

文章预览

大会预告 11月19日和21日「Arm Tech Symposia 年度技术大会」 将分别于上海、深圳两地举办！大会将基于汽车、物联网等领域，围绕生成式 AI、汽车出行、芯粒、汽车计算系统等话题展开。本次活动还将提供免费午餐 & 参会伴手礼，扫码报名参会👆 01 写在前面 & 笔者的个人理解 本文介绍了EMMA，一种用于自动驾驶的端到端多模态模型。EMMA建立在多模态大型语言模型的基础上，将原始摄像头传感器数据直接映射到各种特定于驾驶的输出中，包括规划者轨迹、感知目标和道路图元素。EMMA通过将所有非传感器输入（如导航指令和自车状态）和输出（如轨迹和3D位置）表示为自然语言文本，最大限度地利用了预训练的大型语言模型中的世界知识。这种方法允许EMMA在统一的语言空间中联合处理各种驾驶任务，并使用任务特定的提示为每个任务生成输出。根据经 ………………………………