图解 Transformer 和 MoE 的差别

文章预览

春招和日常实习已开启。 不同以往的是，当前职场已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。 总结链接如下： 《大模型面试宝典》(2025版) 正式发布！ 喜欢本文记得收藏、关注、点赞。更多实战和面试交流，文末加入我们星球 专家混合（MoE）是一种流行的架构，比如最近火爆天的 DeepSeek V3 和 R1 就是这类模型。它利用不同的“专家”来改进 Transformer 模型。 下面的示意图展示了它们与 Transformer 的不同之处。 图片 Transformer 和 MoE 在 decoder 块中有所不同： Transformer 使用前馈网络。 MoE 使用 experts，它们是前馈网络，但与 Transformer 中的网络相比更小。 在推理过程中，将选择专家的子集。这使得 MoE 中的推理速度更 ………………………………