ECCV2024 | 小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了！

文章预览

前言   对比视觉-语言模型（如CLIP）由于其学习特征的显著泛化能力，在各种下游任务中引起了广泛关注。然而，它们学习的特征往往将内容和风格信息混合在一起，这在一定程度上限制了它们在分布变化下的泛化能力。为了解决这一限制，本文采用多模态数据的因果生成视角，并提出通过对比学习和数据增强来解耦原始表示中的内容特征。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 论文链接：https://arxiv.org/pdf/2311.16445 代码链接：https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素 ：本文提出了一种通过对比学习和数据增强，从因果角度微调预训练CLIP类模型的原始特征，以改进其视觉-语言特征的方法。 定制化方法 ：本文提出了一种针对 ………………………………