清华大学与NUS联合提出LaVida Drive：用于自动驾驶的视觉-文本交互VLM

主要观点总结

本文介绍了LaVida Drive，一个用于自动驾驶的视觉问答框架。该框架通过将高分辨率空间感知与时间动态相结合，实现了在动态驾驶环境中的细粒度感知。通过利用查询感知的标记选择和空间-时间标记增强，LaVida Drive提高了计算效率，同时保证了跨帧的信息流连贯性。

关键观点总结

关键观点1: LaVida Drive的特点

LaVida Drive是一个新颖的视觉问答框架，旨在解决自动驾驶中的视觉和语言交互问题。它通过结合高分辨率空间感知和时间数据，提高了在动态驾驶环境中的性能。该框架包括三个核心组件：多模态编码集群、查询感知标记选择模块和空间-时间标记增强模块。

关键观点2: 查询感知的标记选择

查询感知的标记选择模块是LaVida Drive的重要组成部分。该模块根据输入查询和语义内容动态选择最相关的视觉标记，从而减少了视觉标记的数量，提高了计算效率。

关键观点3: 空间-时间标记增强

空间-时间标记增强模块解决了在处理多帧数据时遇到的情景中断和高计算开销问题。该模块通过使查询感知的标记选择与图像或视频编码器的上下文标记之间建立交互，增强了标记的上下文，实现了平滑、连贯的多帧信息传递。

关键观点4: 实验与结果

作者在文中进行了广泛的实验，包括定量和定性评估，以验证LaVida Drive的有效性。实验结果表明，LaVida Drive在自动驾驶的视觉问答任务上取得了显著的性能提升。

文章预览

大会预告 1月14日，第四届全球自动驾驶峰会 将在北京举办。峰会主会场将进行开幕式、端到端自动驾驶创新论坛，分会场将进行城市NOA专题论坛，和自动驾驶视觉语言模型、自动驾驶世界模型两场技术研讨会。目前，中科院自动化所副研究员张启超，北汽研究总院智能网联中心专业总师林大洋，昇启科技创始人孙琪，百度Apollo开放平台首席架构师胡旷，朗歌科技副总经理、智驾地图事业部总经理李战斌已确认参会并将带来主题分享。 👀 导读 视觉语言模型（VLMs）的最新进展使其在自动驾驶的视觉问答（VQA）中变得至关重要，实现了自然的人机交互。然而，现有方法在动态驾驶环境中往往表现不佳，因为它们通常专注于静态图像或视频，并依赖降采样以管理计算成本。这导致关键细节的丢失，以及空间和时间信息的有效整合的困难，这对细粒度感 ………………………………