LoRA 学得少，但忘得也少

文章预览

https://arxiv.org/abs/2405.09673 一句话总结 LoRA方法的表现不如全微调方法（学的少），但LoRA方法具有良好的正则化效果，能够更好地保持基础模型在目标领域之外的任务上的表现（忘得也少）。 摘要 低秩自适应（LoRA）是一种广泛使用的大型语言模型参数高效微调方法。LoRA 通过仅训练选定权重矩阵的低秩扰动来节省内存。论文在编程和数学这两个目标领域上，分别使用指令微调（IFT）和持续预训练（CPT）两种训练方案比较了 LoRA 和完全微调的性能。 结果表明，在大多数情况下，LoRA 不如完全微调。但 LoRA 仍展现出了一种理想的正则化形式：它更好地保持基础模型在目标领域之外任务上的表现。此外，与常见的正则化技术相比，如权重衰减和dropout，LoRA方法提供了更强的正则化效果，并有助于维护更多样化的生成。 实验 上图展示了不同目标域上不同训 ………………………………