专栏名称: PaperWeekly
PaperWeekly是一个推荐、解读、讨论和报道人工智能前沿论文成果的学术平台,致力于让国内外优秀科研工作得到更为广泛的传播和认可。社区:http://paperweek.ly | 微博:@PaperWeekly
今天看啥  ›  专栏  ›  PaperWeekly

将MoE塞到LoRA:一篇文章的诞生

PaperWeekly  · 公众号  · 科研  · 2024-09-04 13:32

文章预览

©PaperWeekly 原创 · 作者 |  Taki 单位 | 香港大学 研究方向 |  LLM efficiency, trustworthy Nothing will work unless you do.  ——Maya Angelou 本文主要介绍一篇论文是怎么诞生。 文章基本信息如下: 论文标题: Mixture-of-Subspaces in Low-Rank Adaptation 论文链接: https://arxiv.org/pdf/2406.11909 代码链接: https://github.com/wutaiqiang/MoSLoRA 简介: 在传统的 LoRA 中加入一个 Mixer 矩阵,进行混个不同子空间的信息。设计非常简单: 最初的想法 说来也是巧合,之前有很多的文章尝试将 LoRA 和 MoE 结合起来,他们基本上都是把 LoRA 当做 MoE 的 Expert,然后塞到 MoE 结构之中,之前也介绍过一些,如文章  1   2   3   4 。这些文章无疑都是将 LoRA 看作 MoE 的 expert,一来缺乏动机,二来影响了 LoRA 的可合并性,三来 训练还慢。 闲来与同事聊天,同事说没见过有文章把 MoE 塞到 LoRA 里面,我当时愣 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览