【他山之石】ACM MM'24｜CPRFL：基于CLIP的新方案，破解长尾多标签分类难题

主要观点总结

本文介绍了一种新颖的提示学习方法——类别提示精炼特征学习（CPRFL），用于解决长尾多标签图像分类（LTMLC）问题。该方法利用类别语义关联来缓解头尾不平衡问题，通过渐进式双路径反向传播机制精炼类别提示，并采用非对称损失来抑制负样本，提升识别性能。

关键观点总结

关键观点1: 类别提示精炼特征学习（CPRFL）的提出

这是一种针对数据特征量身定制的开创性解决方案，旨在解决长尾多标签图像分类（LTMLC）中的头尾不平衡问题。

关键观点2: 利用CLIP的文本编码器提取类别语义

CPRFL利用CLIP的文本编码器强大的语义表示能力，建立头部和尾部类别之间的语义相关性。

关键观点3: 渐进式双路径反向传播机制的设计

该机制旨在通过逐步将与上下文相关的视觉信息融入提示中，从而精炼类别提示，并促进类别特定视觉表示的逐步净化。

关键观点4: 非对称损失的应用

为了抑制负样本，论文采用了非对称损失作为优化目标，这可能改善LTMLC任务中头部与尾部类别的性能。

关键观点5: 实验验证

在COCO-LT和VOC-LT两个LTMLC基准测试上的实验验证了方法的有效性，并突显了其相较于最近先进方法的显著优越性。

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关 注！ 前言 本文 提出了一种新 颖的提示学习方法，称为类别提示精炼特征学习（CPRFL），用于长尾多标签图像分类（LTMLC）。这是首次利用类别语义关联来缓解LTMLC中的头尾不平衡问题，提供了一种针对数据特征量身定制的开创性解决方案。  现实世界的数据通常表现为长尾分布，常跨越多个类别。这种复杂性突显了内容理解的挑战，特别是在需要长尾多标签图像分类（ LTMLC ）的场景中。在这些情况下，不平衡的数据分布和多物体识别构成了重大障碍。为了解决这个问题，论文提出了一种新 ………………………………