顶刊TPAMI 2024！清华提出ProCo，无限Contrastive Pairs的长尾对比学习

主要观点总结

本文介绍了一篇关于长尾视觉识别的论文，该论文提出了一种新的长尾对比学习方法ProCo，通过改进contrastive loss实现了无限数量contrastive pairs的对比学习，解决了监督对比学习对batch size的固有依赖问题。除了长尾视觉分类任务，该方法还在长尾半监督学习、长尾目标检测和平衡数据集上进行了实验，取得了显著的性能提升。

关键观点总结

关键观点1: 研究背景及动机

介绍长尾视觉识别的研究背景，指出对比学习在自监督学习中的成功及其在长尾视觉识别任务中的应用挑战。

关键观点2: 论文的主要内容和创新点

提出ProCo方法，通过估计每类数据的分布参数，构建contrastive pairs，实现无限数量contrastive pairs的对比学习，解决了监督对比学习对batch size的依赖问题。

关键观点3: 方法详述

从分布假设、参数估计、优化目标和理论分析四个方面详细介绍ProCo方法的具体实现。

关键观点4: 实验结果

展示ProCo方法在长尾识别任务、长尾半监督学习、长尾目标检测和平衡数据集上的实验结果，并与相关方法进行比较，验证了ProCo方法的有效性。

关键观点5: 结论

总结论文的主要工作和成果，展望未来的研究方向。

文章预览

来源：PaperWeekly ©作者 |  杜超群 单位 |  清华大学博士生 研究方向 |  长尾学习、半监督学习 本文介绍清华大学的一篇关于长尾视觉识别的论文，该工作已被 TPAMI 2024 录用，代码已开源。 该研究主要关注对比学习在长尾视觉识别任务中的应用，提出了一种新的长尾对比学习方法 ProCo，通过对 contrastive loss 的改进实现了无限数量 contrastive pairs 的对比学习，有效解决了监督对比学习 (supervised contrastive learning) [1] 对 batch (memory bank) size 大小的固有依赖问题 。 除了长尾视觉分类任务，该方法还在长尾半监督学习、长尾目标检测和平衡数据集上进行了实验，取得了显著的性能提升。   论文标题： Probabilistic Contrastive Learning for Long-Tailed Visual Recognition 论文链接： https://arxiv.org/pdf/2403.06726 代码链接： https://github.com/LeapLabTHU/ProCo 研究动机 对比学习在自监督 ………………………………