CLIPFit：不绕弯子，直接微调比提示微调和适配器微调更好｜EMNLP'24

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文介绍了一种名为CLIPFit的新方法，用于高效微调视觉语言模型CLIP，通过仅微调模型中特定的参数子集来提升模型性能，而不需要引入额外的参数。CLIPFit通过微调文本编码器中的特定偏置项和图像编码器中的LayerNorm，成功提高了零样本CLIP的平均调和均值准确率，同时减少了训练参数的数量。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文地址： https://arxiv.org/abs/2409.16718 论文代码： https://github.com/minglllli/CLIPFit 创新点 提出了一种 CLIPFit 方法以高效地微调 CLIP 模型，从而揭示经典模型微调在视觉语言模型（ VLMs ）上的潜力。 与现有的提示调整或适配器调整方法不同， CLIPFit 不引入任何外部参数，而仅微调 CLIP 固有参数中的一个小特定子 ………………………………