视觉语言模型的视觉提示何时优于线性探究 ? 清华 & IBM & 港中文提出了一种使用视觉提示近似方法的 LLR 评分 ！

文章预览

前言   将预训练模型适应到新任务，其有效性能在数据集之间有所不同。 视觉提示，是当今最有效的参数高效的迁移学习方法之一，可以显著提高异常分布任务的性能。 另一方面，线性检测，是一种标准的迁移学习方法，有时可能会成为最佳方法。 作者提出了一种对视觉提示和线性检测的比较效益进行分析的 log-likelihood ratio (LLR) 方法。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： AIGC先锋科技 仅用于学术分享，若侵权请联系删除 1 Introduction 在将迁移学习应用于下游任务时，需要对预训练模型进行特定修改。例如，线性检测（LP）涉及调整模型中最后一层的线性层，而全精细调优涉及修改模型的所有参数。然而，在迁移学习微调的新兴领域中 ………………………………