LoRA综述来了! 浙大《大语言模型的LoRA研究》综述

文章预览

低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。 因此，LoRA 最近受到了广泛关注，相关文献的数量呈指数增长。对LoRA的当前进展进行全面综述是必要的 。本综述从以下几个方面分类并回顾了LoRA的进展：（1） 改进LoRA在下游任务性能的变体 ；（2） 通过混合多种LoRA插件实现跨任务泛化的方法 ；（3） 提高LoRA计算效率的方法 ；（4） 在联邦学习中使用LoRA的数据隐私保护方法 ；（5）应用。此外，本综述还讨论了该领域的未来研究方向。 https://arxiv.org/abs/2407.11046 预训练语言模型参数规模的迅速增加提升了它们的泛化能力，并带来了新的能力 。近年来，预训练语言模型的参数规模增加了数千倍（例如，从具有3.3亿参数 ………………………………