武大/中科院/悉尼科技大学/牛津大学/西交大共同提出 DriveMLLM : 自主驾驶中多模态大语言模型的空间理解基准 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 自动驾驶需要全面理解3D环境，以促进诸如运动预测、规划和映射等高级任务。 在本文中，作者介绍了DriveMLM，这是一个专门用于评估自动驾驶中多模态大型语言模型（MLMMs）空间理解能力的基准。DriveMLM包括2734个正面摄像头图像，并引入了绝对和相对空间推理任务，以及与语言多样性的自然语言问题相伴随。 为了衡量MLLMs的性能，作者提出了关注空间理解的全新评估指标。作者在DriveMLM上评估了几种最先进的MLLM，作者的结果揭示了当前模型在理解驾驶环境中复杂空间关系方面的局限性。 作者认为这些发现强调了需要更先进的基于MLLM的空间推理方法，并突显了DriveMLM推动自动驾驶领域进一步研究的潜力。 代码将在  https://github.com/XiandaGuo/D ………………………………