【德克萨斯A&M大学】OpenEMMA：用于端到端自动驾驶的开源多模态模型

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接：https://arxiv.org/pdf/2412.15208 代码链接：https://github.com/taco-group/OpenEMMA 摘要 本文介绍了OpenEMMA：用于端到端自动驾驶的开源多模态模型。自从多模态大型语言模型（MLLMs）兴起以来，它们在广泛的现实世界应用中产生了重大影响，特别是在自动驾驶（AD）领域中。它们处理复杂视觉数据和推理复杂驾驶场景的能力为端到端自动驾驶系统中的新范式铺平了道路。然而，为AD开发端到端模型的进展缓慢，这是因为现有的微调方法需要大量的资源，包括强大的算力、大规模数据集和大量的资金。本文从推理计算的最新进展中汲取灵感，从而提出了OpenEMMA，这是一种基于MLLMs的开源端到端框架。通过结合思维链推理过程，与基线相比，当利用各种MLLMs时，OpenEMMA的性能实现了显著 ………………………………