ACM MM'24｜CPRFL：基于CLIP的新方案，破解长尾多标签分类难题

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文 提出了一种新 颖的提示学习方法，称为类别提示精炼特征学习（CPRFL），用于长尾多标签图像分类（LTMLC）。这是首次利用类别语义关联来缓解LTMLC中的头尾不平衡问题，提供了一种针对数据特征量身定制的开创性解决方案。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 现实世界的数据通常表现为长尾分布，常跨越多个类别。这种复杂性突显了内容理解的挑战，特别是在需要长尾多标签图像分类（ LTMLC ）的场景中。在这些情况下，不平衡的数据分布和多物体识别构成了重大障碍。为了解决这个问题，论文提出了一种新颖且有效的 LTMLC 方法，称为类别提示精炼特征学习（ CPRFL ）。该方法从预训练的 CLIP 嵌入初始化类别提示，通过与视觉 ………………………………