NeurIPS 2024 | 少样本学习中类别原型和图片样本之间的信息差异对于泛化性能的影响

主要观点总结

本文主要探讨了跨域少样本分类任务中的特征变换问题，发现了数据样本与类别原型之间存在信息差异的现象，并提出了简单有效的方法Contrastive Prototype-image Adaptation（CoPA）来解决这一问题。该方法通过对类别原型和数据样本施加不同的特征变换，并采用对称交叉熵损失，有效地保留了信息差异并提高了算法的泛化性能。

关键观点总结

关键观点1: 跨域少样本分类任务中的主要问题和挑战

跨域少样本分类任务旨在通过快速学习少量带标签的样本，在未见过的数据样本上实现分类。目前主流框架是预训练一个骨干网络作为特征提取器，并在末端快速微调一个特征变换模块。然而，该框架隐性地假设数据样本与类别原型应使用同一个特征变换模块，这可能导致信息差异被缩小，影响特征聚类和算法泛化性能。

关键观点2: 信息差异的发现和分析

作者通过理论和实验分析发现，类别原型和数据样本之间存在信息差异。这一差异在共享同一个特征变换后会被缩小，导致特征聚类和泛化性能不佳。

关键观点3: CoPA方法的设计原理

针对上述问题，作者提出了Contrastive Prototype-image Adaptation（CoPA）方法。CoPA通过对类别原型和数据样本施加不同的特征变换，并采用对称交叉熵损失，有效地保留了信息差异。该方法能够改善特征聚类和泛化性能。

关键观点4: CoPA方法的实验结果

作者在Meta-Dataset数据集上评估了CoPA方法的效果，并与其他方法进行了比较。实验结果表明，CoPA在不同的任务类型和模型设定下均取得了最优效果。此外，CoPA还能有效地扩大类别原型和数据样本之间的信息差异，获得更好的聚类结果。

文章预览

在跨域少样本分类任务（cross-domain few-shot classification, CFC）中，一种主流的架构是预训练一个骨干网络作为特征提取器，在测试阶段在骨干网络的末端快速微调一个简单的轻量化特征变换模块。该特征变换模块能够将提取到的嵌入特征映射到一个任务特定的度量空间，在该空间中，通过比较数据样本 (图片) 特征与类别原型 (prototype) 特征之间的距离/相似度来对样本进行分类。 在当前的URL (Universal Representation Learning) 框架中，一个隐性的假设是对数据样本与类别原型的嵌入特征使用同一个特征变换模块。然而，在本文中，我们发现数据样本与类别原型中存在信息差异，而使用共同的特征变换模块会缩小样本与类别原型中间的信息差异从而导致学习到的特征聚类效果不佳，进而影响算法的泛化性能。 基于此发现，我们在本文中对信息差异的性质进行了 ………………………………