最强MoE完全开源模型发布啦~

文章预览

这篇文章介绍了 OLMOE （Open Mixture-of-Experts Language Models）系列模型，这是一款开源的稀疏混合专家模型。OLMOE-1B-7B拥有70亿参数，但每个输入令牌仅使用10亿参数。该模型在5万亿令牌上进行预训练，并进一步适应以创建OLMOE-1B-7B-INSTRUCT。这些模型在相似活跃参数的模型中表现最佳，甚至超越了更大的模型，如Llama2-13B-Chat和DeepSeekMoE-16B。文章还展示了在MoE训练上的各种实验，分析了模型中的路由，显示了高度专业化，并开源了工作的所有方面：模型权重、训练数据、代码和日志。 论文 ： OLMoE: Open Mixture-of-Experts Language Models 地址 ：https://arxiv.org/pdf/2409.02060 一、研究背景 提出OLMoE ：一种完全开放且最先进的语言模型，利用稀疏的MoE（Mixture-of-Experts）。OLMOE-1B-7B模型在相似活跃参数数量的情况下，表现优于所有可用的模型，甚至超过了更大的模型如Llama2-13B-C ………………………………