晋升业内新宠儿，MoE模型给了AI行业两条关键出路

文章预览

作者：陈泊丞 来源：智能相对论（aixdlun） 导 读：MoE模型火爆的背后：全新的AI解题思路。 今年以来，MoE模型成了AI行业的新宠儿。 一方面，越来越多的厂商在自家的闭源模型上采用了MoE架构。在海外，OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral、xAI的Grok-1等主流大模型都采用了MoE架构。 而在国内，昆仑万维推出的天工3.0、浪潮信息发布的源2.0-M32、通义千问团队发布的Qwen1.5-MoE-A2.7B、MiniMax全量发布的abab6、幻方量化旗下的DeepSeek发布的DeepSeek-MoE 16B等等也都属于MoE模型。 另一方面，在MoE模型被广泛应用的同时，也有部分厂商争先开源了自家的MoE模型。前不久，昆仑万维宣布开源2千亿参数的Skywork-MoE。而在此之前，浪潮信息的源2.0-M32、DeepSeek的DeepSeek-MoE16B等，也都纷纷开源。 为什么MoE模型如此火爆，备受各大厂商的青睐？在开源的背后，MoE模型又是 ………………………………