将 MOE 塞到 LoRA: 一篇文章的诞生

文章预览

作者丨Taki@知乎 来源丨https://zhuanlan.zhihu.com/p/704761512 编辑丨极市平台 导读   在传统的 LoRA 中加入一个 Mixer 矩阵，进行混个不同子空间的信息。   Nothing will work unless you do. --Maya Angelou 本文主要介绍一篇论文是怎么诞生。 文章的基本信息是： 标题： Mixture-of-Subspaces in Low-Rank Adaptation 链接： https://arxiv.org/pdf/2406.11909 代码： https://github.com/wutaiqiang/MoSLoRA 简介：在传统的 LoRA 中加入一个 Mixer 矩阵，进行混个不同子空间的信息。设计非常简单： 最初的想法 说来也是巧合，之前有很多的文章尝试将 LoRA 和 MoE 结合起来，他们基本上都是把 LoRA 当做 MoE 的 Expert，然后塞到 MoE 结构之中，之前也介绍过一些，如文章 https://zhuanlan.zhihu.com/p/676782109、 https://zhuanlan.zhihu.com/p/676557458、 https://zhuanlan.zhihu.com/p/676268097、https://zhuanlan.zhihu.com/p/675186369 。这些文章无疑都是将 ………………………………