MoE模型的前世今生

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Linsight 来源丨Linsight 编辑丨极市平台 极市导读   本文全面回顾了Mixture-of-Experts (MoE) 模型的发展历程，从早期的研究到最新的模型如Qwen1.5-MoE、DBRX和Mistral，探讨了MoE模型设计、训练策略和实验结果，并分析了如何通过专家专业化和细粒度控制提高模型效率和性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 2024年3、4月这段时间，很多MoE模型扎堆发布，包括Qwen1.5-MoE、DBRX、Jamba和Mistral等。 下面这个表格列出了部分近期发布的MoE工作 模型 发布时间 备注 GPT4 2023年3月 23年6月George Hotz爆料GPT4是8×220B模型 Mistral-8×7B 2023年12月 Mistral AI，开源 LLAMA-MoE 2023年12月 github开源项目 DeepSeek-MoE 2024年1月 幻方量化(深度求索)，国内首个开源MoE模型，有技术报告 abab6 2024年1月 MiniMax，号称千亿MoE，无开源，无细节发布 天工2.0 ………………………………