将 MOE 塞到 LoRA：一篇文章的诞生

文章预览

作者 | Taki  编辑 | 极市平台 原文链接：https://zhuanlan.zhihu.com/p/704761512 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 大语言模型 』 技术交流群 本文只做学术分享，如有侵权，联系删文 导读   在传统的 LoRA 中加入一个 Mixer 矩阵，进行混个不同子空间的信息。 Nothing will work unless you do. --Maya Angelou 本文主要介绍一篇论文是怎么诞生。 文章的基本信息是： 标题： Mixture-of-Subspaces in Low-Rank Adaptation 链接： https://arxiv.org/pdf/2406.11909 代码： https://github.com/wutaiqiang/MoSLoRA 简介：在传统的 LoRA 中加入一个 Mixer 矩阵，进行混个不同子空间的信息。设计非常简单： 最初的想法 说来也是巧合，之前有很多的文章尝试将 LoRA 和 MoE 结合起来，他们基本上都是把 LoRA 当做 MoE 的 Expert，然后 ………………………………