TPAMI 2024 | ProCo：无限contrastive pairs的长尾对比学习

主要观点总结

本文关注对比学习在长尾视觉识别任务的应用，提出了一种新的长尾对比学习方法ProCo。该方法通过对contrastive loss的改进，实现了无限数量contrastive pairs的对比学习，解决了监督对比学习对batch size大小的固有依赖问题。除了在长尾视觉分类任务中的应用，该方法还成功应用于长尾半监督学习、长尾目标检测和平衡数据集。本文从研究动机、方法详述、实验结果和参考文献等方面进行了详细介绍。

关键观点总结

关键观点1: 研究动机

对比学习在自监督学习中的成功表明了其在学习视觉特征表示方面的有效性。影响对比学习性能的核心因素是contrastive pairs的数量。然而在长尾视觉识别任务中，由于类别不均衡，增加contrastive pairs的数量所带来的增益会产生严重的边际递减效应。

关键观点2: 方法详述

ProCo方法的核心思想是通过建模每类数据的分布，参数估计，并构建contrastive pairs来解决长尾问题。选择了球面上的von Mises-Fisher (vMF) 分布作为特征的分布，并利用最大似然估计高效地估计分布的参数，并计算期望contrastive loss的解析解。

关键观点3: 实验结果

ProCo方法在长尾视觉识别任务、长尾半监督学习、长尾目标检测和平衡数据集上的实验结果表明，该方法在不同数据集和不同的训练策略下都取得了显著的性能提升。

文章预览

该研究主要关注对比学习在长尾视觉识别任务中的应用，提出了一种新的长尾对比学习方法 ProCo，通过对 contrastive loss 的改进实现了无限数量 contrastive pairs 的对比学习，有效解决了监督对比学习 (supervised contrastive learning)[1]  对 batch (memory bank) size 大小的固有依赖问题 。除了长尾视觉分类任务，该方法还在长尾半监督学习、长尾目标检测和平衡数据集上进行了实验，取得了显著的性能提升。 论文标题：  Probabilistic Contrastive Learning for Long-Tailed Visual Recognition  论文链接： https://arxiv.org/pdf/2403.06726 项目链接： https://github.com/LeapLabTHU/ProCo 一、研究动机 对比学习在自监督学习中的成功表明了其在学习视觉特征表示方面的有效性。影响对比学习性能的核心因素是 contrastive pairs 的数量 ，这使得模型能够从更多的负样本中学习，体现在两个最具代表性的方法 ………………………………