Waymo最新多模态端到端EMMA：规划感知静态元素一网打尽~

文章预览

点击下方 卡片 ，关注“ 自动驾驶Daily ”公众号 戳我->  领取近15个自动驾驶方向路线 今天自动驾驶Daily今天为大家分享Waymo最新的多模态端到端算法EMMA！ 自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询 >> 点击进入→ 自动驾驶Daily技术交流群 微信扫描以下二维码， 『自动驾驶之心知识星球』 ， 国内最专业的技术和求职交流社区， 和3500人一起卷赢 写在前面 & 笔者的个人理解 本文介绍了EMMA，一种用于自动驾驶的端到端多模态模型。EMMA建立在多模态大型语言模型的基础上，将原始摄像头传感器数据直接映射到各种特定于驾驶的输出中，包括规划者轨迹、感知目标和道路图元素。EMMA通过将所有非传感器输入（如导航指令和自车状态）和输出（如轨迹和3D位置）表示为自然语言文本，最大限度地利用了预训练的大 ………………………………