ECCV 2024 | R-Adapter：零样本模型微调新突破，提升鲁棒性与泛化能力

文章预览

大规模图像-文本预训练模型实现了零样本分类，并在不同数据分布下提供了一致的准确性。然而，这些模型在下游任务中通常需要微调优化，这会降低对于超出分布范围的数据的泛化能力，并需要大量的计算资源。论文提出新颖的 Robust Adapter （ R-Adapter ），可以在微调零样本模型用于下游任务的同时解决这两个问题。该方法将轻量级模块集成到预训练模型中，并采用新颖的自我集成技术以提高超出分布范围的稳健性，并大幅减少存储开销。此外，论文提出了针对视觉-语言下游任务设计的 MPM-NCE 损失，确保多个图像-文本对的精确对齐和具有区分性的特征学习。 来源：晓飞的算法工程笔记 公众号 论文: Efficient and Versatile Robust Fine-Tuning of Zero-shot Models 论文地址：https://www.arxiv.org/abs/2408.05749 论文代码：http://cvlab.postech.ac.kr/research/R-Adapter Introduction   大 ………………………………