武大/中科院/悉尼科技大学/牛津大学/西交大共同提出 DriveMLLM : 自主驾驶中多模态大语言模型的空间理解基准 ！

文章预览

自动驾驶之星 点击上方 蓝字 关注 自动驾驶之星 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入Introduction 自动驾驶需要全面理解3D环境，以促进诸如运动预测、规划和映射等高级任务。在本文中，作者介绍了DriveMLM，这是一个专门用于评估自动驾驶中多模态大型语言模型（MLMMs）空间理解能力的基准。DriveMLM包括2734个正面摄像头图像，并引入了绝对和相对空间推理任务，以及与语言多样性的自然语言问题相伴随。 为了衡量MLLMs的性能，作者提出了关注空间理解的全新评估指标。作者在DriveMLM上评估了几种最先进的MLLM，作者的结果揭示了当前模型在理解驾驶环境中复杂空间关系方面的局限性。 作者认为这些发现强调了需要更先进的基于MLLM的空间推理方法，并突显了DriveMLM推动自动驾驶领域进一步研 ………………………………