新加坡国立大学/清华大学提出 LaVida Drive:用于自动驾驶的视觉-文本交互VLM，具有令牌选择、恢复和增强功能 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 视觉语言模型（VLMs）的最新进展使其在自动驾驶的视觉问答（VQA）中变得至关重要，实现了自然的人机交互。然而，现有方法在动态驾驶环境中往往表现不佳，因为它们通常专注于静态图像或视频，并依赖降采样以管理计算成本。这导致关键细节的丢失，以及空间和时间信息的有效整合的困难，这对细粒度感知和时间连贯性是有效决策的关键。 为了解决这些问题，作者提出了一种名为LaVida Drive的新颖且高效的VQA框架。LaVida Drive在保持高分辨率输入的同时，将时间数据无缝集成。 它通过保留高分辨率数据以处理复杂的细节，并使用低分辨率输入进行时间分析以关注与运动相关的特征，从而提高计算效率。作者的方法实现了168倍的 Token 压 ………………………………