文章预览
大模型智能｜分享 来源 | 专知 链接： https://arxiv.org/abs/2407.11046 低秩适应（Low-Rank Adaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA 最近受到了广泛关注，相关文献的数量呈指数增长。对LoRA的当前进展进行全面综述是必要的。本综述从以下几个方面分类并回顾了LoRA的进展： （1）改进LoRA在下游任务性能的变体；（2）通过混合多种LoRA插件实现跨任务泛化的方法；（3）提高LoRA计算效率的方法；（4）在联邦学习中使用LoRA的数据隐私保护方法；（5）应用。 此外，本综述还讨论了该领域的未来研究方向。 预训练语言模型参数规模的迅速增加提升了它们的泛化能力，并带来了新的能力 。近年来，预训练语言模型的参数规模增加了
………………………………
