【上海科技大学和香港中文大学】LVLMs能够获取驾照吗？面向自动驾驶可靠AGI的基准

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2409.02914 项目主页：https://4dvlab.github.io/project_page/idkb.html 摘要 本文介绍了面向自动驾驶可靠AGI的基准 。大型视觉语言模型（LVLMs）最近引起了广泛关注，很多工作旨在利用其通用知识来提高自动驾驶模型的可解释性和鲁棒性。然而，LVLMs通常依赖于大型、通用的数据集，缺乏专业且安全驾驶所需的专业知识。现有的视觉语言驾驶数据集主要着重于场景理解和决策，而没有提供关于交通规则和驾驶技能的明确引导，这些是与驾驶安全性直接相关的关键方面。为了弥补这一差距，本文提出了IDKB，这是一个大规模数据集，其包含从各个国家采集的100多万个数据项，这些数据项包括驾驶手册、理论测试数据和仿真道路测试数据。就像获得驾照的过程一样 ………………………………