【慕尼黑工业大学】通过大型视觉语言模型理解交通场景

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2501.17131 摘要 本文介绍了通过大型视觉语言模型理解交通场景。 自动驾驶的深度学习模型（包括感知、规划和控制）依赖于庞大的数据集来实现其高性能。 然而，由于特定领域的数据分布，它们的泛化能力往往受到影响，因此有必要对样本进行基于场景的有效分类，以提高它们在不同领域的可靠性。 人工标注尽管具有价值，但是 既 耗费劳动力又耗时，因此在数据标注过程中构成了瓶颈。 大型视觉语言模型（LVLMs）通过自动图像分析和基于上下文查询的分类，提供了一种具有吸引力的解决方案，它通常不需要对新类别进行重新训练。 本项研究评估了LVLMs（包括GPT-4和LLaVA）在内部数据集和BDD100K上理解和分类城市交通场景的能力。 本文提出了一 ………………………………