腾讯放大招，超Meta！史上参数最大，开源专家混合模型

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 开源大模型领域迎又来一位重磅玩家——腾讯。 腾讯一出手就是个超大模型，开源的Hunyuan-Large是目前市面上最大基于 Transformer架构的专家混合（MoE）模型。一共有3890 亿参数，其中激活参数为 520 亿，具备处理长达256K上下文能力。 根据腾讯公开测试数据显示， Hunyuan-Large不仅超过了社交巨头Meta开源的最新、最大模型LLama3.1 - 405B，并且在激活参数数量显著减少的情况下，实现了高达3.2%的性能提升 。在数学、日常推理、文本生成等方面非常优秀。 开源地址：https://github.com/Tencent/Tencent-Hunyuan-Large huggingface：https://huggingface.co/tencent/Tencent-Hunyuan-Large 云开发平台：https://cloud.tencent.com/document/product/851/112032 ………………………………