BMVC'24 Oral | 模态内重叠优化，简单有效的CLIP微调方法

文章预览

本文是对公开论文的核心提炼，旨在进行学术交流。如有任何侵权问题，请及时联系号主以便删除。 来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: CLIP Adaptation by Intra-modal Overlap Reduction 论文地址：https://arxiv.org/abs/2409.11338 创新点 提出一种基于轻量级适配的新方法，直接在图像空间中减少 CLIP 中的模态内重叠（ IMO ）。新特征与任何利用缓存模型的无训练方法兼容，这些新特征提高了所有被检查的无训练方法的整体性能。 表明直接减少模态内重叠（ IMO ）与性能之间存在正相关关系。 探索了通过在监督和自监督方式下训练轻量级适配器来减少模态内重叠（ IMO ）的可能性。 内容概述 许多方法尝试将预训练的基础 CLIP 模型适应于少样本分类，因为 CLIP 在大规模语料库上进行训练，它能够通过适应少样本分类而具有良好的泛化能力。但当 ………………………………