腾讯AI全面拥抱开源，389B参数MoE，最强开源模型来了

文章预览

腾讯这次真的是把家底儿都掏出来了… 把自家最好的大模型之一混元 Large 开源了。 这就是元宝 AI 阅读、AI 搜索等腾讯自己产品里都在用的同款模型。 同时也是目前综合能力最强的开源MoE大语言模型。 模型特点： 389B 的 MoE 模型，激活参数 52B，256K 上下文，7T 训练量 免费，可商用 各项指标都非常好 代码能力非常强 腾讯 Large 和一些开源模型的指标对比，在技术报告中有更详尽的对比： 干货满满的技术报告： 腾讯不仅放出了自家的超强模型，还公开了干货满满的技术报告。 这个技术报告满足了我对很多前沿技术的好奇心，比如： MoE 的 Scaling Law 有何特别之处 MoE 如何有效激活和训练每个专家的能力 合成数据的应用，如何对代码和数学能力提升超 10% 对开发 AI 应用和研究大语言模型技术都很有帮助， 强烈建议收藏学习！ 技术报告地址： https://arxi ………………………………