ACL 2024 | 通往高秩LoRA的螺旋：更少的参数，保持更高的秩

主要观点总结

本文介绍了论文《MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning》的主要内容。作者何浩楠等人提出了MeLoRA算法，该算法不仅实现了秩的提升，还在计算效率方面有所改进。文章详细介绍了MELoRA的方法、动机和实现细节，并通过实验证明了其有效性。

关键观点总结

关键观点1: 论文主题

《MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning》

关键观点2: 作者介绍

作者何浩楠，单位中国科学技术大学，研究方向AI4Science

关键观点3: 论文背景

论文提出了一种新的参数高效微调方法MeLoRA，该方法旨在提高模型的秩并提升计算效率。

关键观点4: MELoRA算法介绍

MELoRA通过初始化k对mini lora权重，并将它们按对角线排列组成，降低了可训练参数，同时保持较高的秩。该算法实现了参数高效微调，可以在保持相同可训练参数的情况下将秩扩大到kr。

关键观点5: 实验与效果

作者在Robert-a模型上进行了实验，并在GLUE数据集上验证了MELoRA的效果。实验结果表明，MELoRA在参数高效微调方面取得了显著的效果。

文章预览

©作者 | 何浩楠 单位 | 中国科学技术大学 研究方向 | AI4Science 这是一篇非常精彩的论文，文中提出的 MeLoRA 算法不仅实现了秩的提升，并且在计算效率等方面相比“香草味”LoRA 也有一定的提升。虽然本文的理论比较简单，数学公式也不多，但是具体方法让人有眼前一亮之感。 文章标题： MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning 文章链接： https://arxiv.org/pdf/2402.17263 LoRA的秩与LoRA合并重初始化 首先我们定义以下符号：权重权重 和矩阵 以及矩阵 那么我们有 LoRA 的公式为 ：   1.1 LoRA的秩 对于矩阵 A 和矩阵 B，我们有：训练的每一步，训练的每一步 ，   对于 A 和 B 的乘积有：   于是 ：   1.2 合并重初始化方法 由 于： ，所以如果将多个 lora 的权重叠加，就有希望能够提高 LoRA 的秩。论文 ReLoRA 和 CoLA 都提出了训练每隔一段时间 ………………………………