清华/浙大/川大 来拟合提出Sparse-Tuning | 显著提高预训练ViT模型在微调和推理上的效率！

文章预览

点击下方卡片，关注 「集智书童」 公众号 点击加入👉 「集智书童」 交流群 参数高效的微调（PEFT）已成为将预训练的视觉 Transformer （ViT）模型适配到下游应用的一种流行方法。尽管当前的PEFT方法在达到参数效率的同时，却忽略了在微调和推理过程中GPU内存和时间的效率，这是由于在ViT架构中重复计算了冗余的标记。 这不符合下游任务适配的实际要求。在本文中，作者提出了 Sparse-Tuning ，一种新型的调优范式，它显著提高了预训练ViT模型在微调和推理上的效率。 Sparse-Tuning通过稀疏地保留信息性标记并合并冗余标记，有效地微调预训练的ViT，使ViT能够专注于图像中的前景，同时减少对背景区域的计算成本。 为了准确区分信息性标记和非信息性标记，作者引入了一种定制的Dense Adapter，它在ViT的不同编码层之间建立密集连接，从而提高标记稀疏化 ………………………………