ECCV2024 | 小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了！

文章预览

.点击下方 卡片 ，关注“ AI生成未来 ” >>后台回复“GAI”，免费获取AI行业报告和资料！ 作者：Yichao Cai 等   解读：AI生成未来      论文链接：https://arxiv.org/pdf/2311.16445 代码链接：https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素 ：本文提出了一种通过对比学习和数据增强，从因果角度微调预训练CLIP类模型的原始特征，以改进其视觉-语言特征的方法。 定制化方法 ：本文提出了一种针对预训练CLIP类模型的定制化方法。该方法利用一个解耦网络，通过对比学习和图像增强进行训练，从CLIP类模型的图像编码器提供的学习特征中提取潜在内容特征。 带有增强提示的对比学习（CLAP） ：本文提出了CLAP方法，用于从CLIP类模型的表示中提取潜在内容特征。该方法首先使用预训练的CLIP类模型的文本编码器和文本增强训练一个解耦网络，随后将 ………………………………