微软提出GRIN MoE，引领大规模预训练模型的新浪潮

文章预览

链接：https://arxiv.org/html/2409.12136v1 论文：GRIN: GRadient-INformed MoE 研究背景 研究问题 ：这篇文章要解决的问题是如何有效地训练混合专家（MoE）模型，以克服稀疏计算对传统训练方法的挑战。MoE模型通过专家路由选择性地激活少量专家模块，从而实现比密集模型更有效的扩展。然而，离散的专家路由阻碍了标准的反向传播和基于梯度的优化。 研究难点 ：该问题的研究难点包括：离散专家路由导致不可微输出，无法直接应用反向传播进行梯度计算；MoE模型的稀疏激活机制使得标准的训练方法难以有效应用。 相关工作 ：该问题的研究相关工作有：Lepikhin等人（2021）、Fedus等人（2022）、Zoph等人（2022）提出的MoE模型，这些模型通过专家路由实现模型扩展，但在训练过程中面临梯度估计和稀疏计算的挑战。 研究方法 这篇论文提出了GRIN（Gradient-Informed MoE tra ………………………………