【Waymo最新端到端】EMMA:多模态端到端网络

文章预览

论文:https://arxiv.org/html/2410.23262v2 EMMA（End-to-End Multimodal Model for Autonomous Driving）是一种基于多模态大型语言模型（MLLMs）的自动驾驶模型，它能够直接将原始摄像头传感器数据映射到各种驾驶特定的输出，如规划轨迹、感知对象和道路图元素。该模型通过将所有非传感器输入和输出表示为自然语言文本，在统一的语言空间中联合处理多种驾驶任务，并使用任务特定的提示为每个任务生成输出。EMMA在运动规划和3D对象检测等任务上展现出了与最先进方法相媲美的性能，并在多个基准测试中取得了有竞争力的结果。 1. EMMA概述 1.1 定义与目标 EMMA，是一种创新的自动驾驶模型，旨在通过端到端的方法直接从原始摄像头传感器数据映射到驾驶特定的输出。EMMA的核心目标是实现一个统一的模型框架，能够处理多种驾驶任务，包括规划轨迹、感知目标和道路图元 ………………………………