专栏名称: 魔搭ModelScope社区
阿里巴巴达摩院模型开源社区ModelScope官方账号
今天看啥  ›  专栏  ›  魔搭ModelScope社区

社区供稿 | 元象发布255B大规模MoE开源大模型,落地应用登顶港台榜

魔搭ModelScope社区  · 公众号  ·  · 2024-09-13 19:39

文章预览

元象XVERSE发布  中国最大MoE开源模型:XVE RSE-MoE-A36B ,加速AI应用低成本部署,将国产开源提升至国际领先水平。 该模型总参数255B, 激活参数36B ,效果能大致达到 超过100B大模型 的「跨级」性能跃升,同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。元象「高性能全家桶」系列全部开源,无条件免费商用,让海量中小企业、研究者和开发者能按需选择。 MoE(Mixture of Experts)是业界最前沿的混合专家模型架构 ,将多个细分领域的专家模型组合成一个超级模型,打破了传统扩展定律(Scaling Law)的局限,在 扩大模型规模的同时,保持模型性能最大化,甚至还能降低训练和推理的计算成本 。出于这个原因,行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4 、马斯克旗下xAI公司的Grok等大模型都使用了 MoE。 在多个权威评测中,元象MoE效果大幅 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览