能否仅依靠 LoRA 权重，而不依赖于预训练权重？PC-LoRA 给你答案 ！

文章预览

前言   低秩适应（LoRA）是一种显著的方法，通过向冻结的预训练权重中添加少量可学习参数，以实现参数高效的微调。 启发于这样一个问题： “作者能否仅依靠LoRA权重，在微调的最后阶段使其表示足够，而不依赖于预训练权重？ ”在这项工作中，作者引 入了渐进式压缩LoRA（PC-LoRA），它利用低秩适应（LoRA）同时执行模型压缩和微调。 PC-LoRA方法在训练过程中逐渐移除预训练权重，最终只留下低秩 Adapter 。 因此，这些低秩 Adapter 替换了整个预训练权重，同时实现了压缩和微调的目标。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 Introduction 自从引入了预训练的 Transformer [27]模型以来，它们在自然语言处理（NLP）[1, 6]和计算机视觉（CV）[2, 7, 28]的一系 ………………………………