Talk2BEV：大模型+自动驾驶，最热门的两大方向会碰撞出什么火花？

主要观点总结

本文介绍Talk2BEV，一个用于自动驾驶场景的鸟瞰图语言接口。它通过融合大规模语言模型（LLM）和视觉语言模型（LVLM）完成广泛的自动驾驶任务。文章还提出了Talk2BEV-Bench基准测试，用于评估LVLM在自动驾驶应用中的性能。该系统利用预训练的图像-语言模型，生成语言增强的BEV地图，通过回答用户查询来处理自动驾驶场景的各种问题。

关键观点总结

关键观点1: Talk2BEV介绍

Talk2BEV是一个用于自动驾驶的鸟瞰图语言接口，能够完成视觉推理、空间理解等任务。

关键观点2: Talk2BEV-Bench基准测试

Talk2BEV-Bench是用于评估LVLM在自动驾驶应用中性能的基准测试，包含人工标注的BEV场景和问题答案对。

关键观点3: 生成BEV地图的方法

使用车辆传感器感知环境，通过基于图的SLAM方法生成BEV地图。

关键观点4: 生成语言增强BEV地图的方法

使用预训练的LVLM为每个目标生成图像语言特征，增强BEV地图。

关键观点5: 回答用户查询的方式

利用LVLM作为通用问答系统，通过系统提示格式生成JSON格式输出回答用户查询。

关键观点6: Talk2BEV的性能评估

通过Talk2BEV-Bench数据集评估不同LVLM的性能，包括任务子集和不同类型问题的平均性能。

文章预览

论文标题： Talk2BEV: Language-enhanced Bird's-eye View Maps for Autonomous Driving 论文作者： Tushar Choudhary1∗ , Vikrant Dewangan1∗ , Shivam Chandhok2∗ , ShubhamPriyadarshan1 , Anushka Jain1 , Arun K. Singh3 , Siddharth Srivastava4, Krishna Murthy Jatavallabhula5† , and K. Madhava Krishna1† 1 IIIT Hyderabad,2University of British Columbia, 3University of Tartu, 4TensorTour Inc.,5MIT 导读： 本文介绍Talk2BEV，一个用于自动驾驶场景的鸟瞰图语言接口。通过融合最近的大规模语言模型(LLM)和视觉语言模型(LVLM)的进展，Talk2BEV能够完成广泛的自动驾驶任务，包括但不限于视觉推理、空间理解和预测不安全的交通互动。我们还提出了Talk2BEV-Bench基准测试，用于评估后续大规模视觉语言模型在自动驾驶应用方面的工作。 ©️【深蓝AI】编译 为了实现无人参与的安全行驶，自动驾驶系统需要理解周围的视觉世界，以做出明智的决定 ………………………………