ECCV2024｜小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Yichao Cai 等  来源丨AI生成未来 编辑丨极市平台 极市导读   本文提出了CLAP方法，用于从CLIP类模型的表示中提取潜在内容特征。该方法首先使用预训练的CLIP类模型的文本编码器和文本增强训练一个解耦网络，随后将训练好的解耦网络应用于CLIP类模型的图像编码器。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文链接： https://arxiv.org/pdf/2311.16445 代码链接： https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素 ：本文提出了一种通过对比学习和数据增强，从因果角度微调预训练CLIP类模型的原始特征，以改进其视觉-语言特征的方法。 定制化方法 ：本文提出了一种针对预训练CLIP类模型的定制化方法。该方法利用一个解耦网络，通过对比学习和图像增强进行训练，从CLIP类模型的图像编码器提供的 ………………………………