【Cruise LLC和Meta】VLMine：基于视觉语言模型的长尾数据挖掘

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2409.15486 摘要 本文介绍了VLMine：基于视觉语言模型的长尾数据挖掘。对于机器学习的很多现实世界应用（例如自动驾驶）而言，确保长尾示例的鲁棒性是一个重要问题。本项工作着重于在未标注的数据语料库中识别罕见示例的问题。本文提出了一种简单且可扩展的数据挖掘方法，它利用了大型视觉语言模型（VLM）中包含的知识。本文方法利用VLM将图像的内容汇总成一组关键字，并且根据关键字的频率来识别罕见的示例。本文发现，与基于模型不确定性的传统方法相比，VLM为识别长尾示例提供了独特的信号。因此，本文提出了一种简单且通用的方法以集成来自多种挖掘算法的信号。本文在两个不同的任务上评估了所提出的方法：2D图像分类和3D目标 ………………………………