Mistral&LLama MoE:混合专家模型初探

文章预览

引言 在最近的两篇文章——《解读Qwen1.5 MoE：稀疏大模型的高效智能》和《探秘Grok-1 - 马斯克旗下xAI开源的大模型，参数量3140亿》中，我们深入探讨了两种最新的开源语言模型。这两种模型均共享一项显著特征：都采用了Mixture of Experts (MoE)架构，透露出这一架构方式在当前大型模型设计中的重要性。对照OpenLLM排行榜上的顶尖模型发现，多数已经或正开始采纳MoE结构。在这一背景下，本文将聚焦于MoE在大型语言模型（LLM）中的应用，特别是对两种代表性的MoE结构LLM模型——Mistral和LLama-MOE进行细致介绍。 ybYg5F Mistral 7B 论文标题：Mistral 7B 论文链接：https://arxiv.org/pdf/2310.06825.pdf 文章结论提前一览： 语言模型可能比之前认为的能更有效地压缩知识。迄今为止，该领域主要强调了两个维度上的比例定律（模型能力与训练成本关联）；问题实际上是三维的 ………………………………