NeurIPS 2024 | 用高斯邻域最小化提升视觉提示词微调在长尾视觉识别上的性能

文章预览

该工作提出了一种 针对长尾问题的训练优化策略 ，旨在平衡地提升视觉提示词微调对各个类别的泛化能力。此训练优化策略新提出的基于高斯邻域最小化的损失，能够帮助模型在长尾数据上训练时收敛到更平坦的损失极小值点，平衡地提升模型对头类和尾类的泛化能力，并且几乎不引入额外的计算代价。大量实验证明，提出的高斯邻域最小化方法能够使得模型在长尾分布数据上的损失平面更加平坦，且几乎不增加额外的计算开销。该方法有效平衡了模型对头类和尾类的泛化能力，并在多个长尾任务中展现出卓越的性能和效率优势。 论文标题： Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition  论文链接： https://arxiv.org/abs/2410.21042 项目主页： https://vcc.tech/research/2024/GNM-PT 一、引言 从真实世界中采集的数据通常呈现长尾 ………………………………