斯坦福提出 ExPLoRA 高效扩展预训练 Transformer 在无监督领域的突破 ！

文章预览

备注好友： 方向-学校/公司-姓名/昵称 【AIGC 先锋科技】交流群 参数高效微调（PEFT）技术，如低秩适应（LoRA），可以有效地将大型预训练基础模型适应到下游任务，只使用原始可训练权重的很小一部分（0.1%-10%）。PEFT一个未被深入探索的问题是，在无监督标签的情况下扩展预训练阶段； 也就是说，作者能否通过在这个新领域上进行有效的自监督预训练，来适应一个预训练的基础模型？在这项工作中，作者介绍了ExPLoRA，这是一种在领域偏移下显著提高预训练视觉 Transformer （ViTs）迁移学习效果的高效技术。 在大型自然图像数据集（如DinoV2或MAE）上使用预训练权重初始化ViT，ExPLoRA在新领域上继续无监督的预训练目标。在这个扩展的预训练阶段，ExPLoRA只解冻1-2个预训练的ViT块和所有归一化层，然后用LoRA调整所有其他层。最后，作者仅用LoRA在这个新 ………………………………