从dense到MoE -- sparse upcycling

文章预览

目前已经有很多优秀的dense大模型，那么要通过MoE获得更强的模型，用已有的dense模型进行初始化是一个自然的想法。Google的sparse upcycling对此做了一些实验，由于实验是在2022年做的，模型用的是T5系列语言模型和Vision Transformer系列视觉模型。 文中给出两个适合使用sparse upcycling的场景： 已有dense模型，想在有限的计算资源下提升模型效果。 要训一个模型，不知道dense模型和MoE哪个会有更好的效果（虽然通常来说MoE更好，但是训练难度和结果不确定也更大），那么就可以先训练一个dense模型保底，然后再在dense模型的基础上扩展成MoE结构继续优化。 下面具体看下一些实验细节。 1.设置 对于transformer模型，sparse upcycling的操作如下图 除了原模型的MLP层替换成MoE层外，其他组件包括layernorm、attention都直接从原dense模型copy到MoE模型。 实验上，一些具体的基础 ………………………………