MoE也有Scaling Law，「百万专家」利用率近100%！DeepMind华人挑战MoE极限

文章预览

如果你熟悉当前LLM的主流架构，混合专家（MoE）技术想必是老朋友之一。有人甚至会说，MoE是使大模型崛起的关键因素之一。 开源的Mixtral、DBRX、Grok等模型都使用了MoE，而且根据Soumith Chintala等大佬的推测，GPT-4也是一个规模为8×220B的MoE模型。 类似GPT-4，多数MoE模型都会将专家数量限制在较少数量，一般不会超过16或32。 然而，DeepMind研究科学家Xu Owen He最近就在一篇独立发表的论文中，提出了一种全新的方法—— PEER（参数高效专家检索，Parameter Efficient Expert Retrieval） ，可以将专家数量扩展到百万数量级。 论文地址：https://arxiv.org/abs/2407.04153 这究竟是如何做到的？参数量不会爆炸吗？不会造成收益递减吗？如何实现能在百万个专家中实现高效检索？ 背景与介绍 Transformer架构中，每个块内都包含注意力层和前馈层（FFW），注意力层用于计算序列中toke ………………………………