将MoE塞到LoRA：一篇文章的诞生

文章预览

本文主要介绍一篇论文是怎么诞生。 文章基本信息如下： 论文标题： Mixture-of-Subspaces in Low-Rank Adaptation 论文链接： https://arxiv.org/pdf/2406.11909 代码链接： https://github.com/wutaiqiang/MoSLoRA 简介： 在传统的 LoRA 中加入一个 Mixer 矩阵，进行混个不同子空间的信息。设计非常简单： 最初的想法 说来也是巧合，之前有很多的文章尝试将 LoRA 和 MoE 结合起来，他们基本上都是把 LoRA 当做 MoE 的 Expert，然后塞到 MoE 结构之中，之前也介绍过一些，如文章  1   2   3   4 。这些文章无疑都是将 LoRA 看作 MoE 的 expert，一来缺乏动机，二来影响了 LoRA 的可合并性，三来 训练还慢。 闲来与同事聊天，同事说没见过有文章把 MoE 塞到 LoRA 里面，我当时愣了一下。啊？MoE 塞到 LoRA 里面，意思是说把 MoE 的那种 gate+多专家去做 LoRA 的 lora_A 和 lora_B ? 最直观的设计就是： ▲ 有点抽 ………………………………