ACL 2024 | 通往高秩LoRA的螺旋：更少的参数，保持更高的秩

文章预览

前言   这是一篇非常精彩的论文，文中提出的 MeLoRA 算法不仅实现了秩的提升，并且在计算效率等方面相比“香草味”LoRA 也有一定的提升。虽然本文的理论比较简单，数学公式也不多，但是具体方法让人有眼前一亮之感。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者：何浩楠 单位：中国科学技术大学 来源：PaperWeekly 仅用于学术分享，若侵权请联系删除 文章标题： MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning 文章链接： https://arxiv.org/pdf/2402.17263 LoRA的秩与LoRA合并重初始化 首先我们定义以下符号：权重权重 和矩阵 以及矩阵 那么我们有 LoRA 的公式为 ：   1.1 LoRA的秩 对于矩阵 A 和矩阵 B，我们有：训练的每一步，训练的每一步 ， ………………………………