腾讯混元又来开源，一出手就是最大MoE大模型

主要观点总结

机器之心AIxiv专栏报道了腾讯混元团队发布的最大基于Transformer的混合专家（MoE）模型——Hunyuan-Large。该模型具有强大的性能，在多个学科综合评测集及NLP任务中表现领先。文章还介绍了模型的技术创新点，包括MoE结构、路由和训练策略、合成数据、长文能力优化、推理加速优化等。

关键观点总结

关键观点1: 腾讯混元团队发布最大基于Transformer的混合专家（MoE）模型Hunyuan-Large。

这是目前业界已经开源的最大的MoE模型，具有389B总参数和52B激活参数。

关键观点2: Hunyuan-Large模型具有强大的性能表现。

在公开测评中，该模型在多学科综合评测集以及中英文NLP任务、代码和数学等多个维度上全面领先其他一流大模型。

关键观点3: 技术创新点包括MoE结构、路由和训练策略等。

MoE结构的优越性使得模型可以在保证推理速度的同时提升模型参数量进而提升性能。此外，独特的路由和训练策略、高质量合成数据的使用也提高了模型的性能。

关键观点4: 模型的长文能力优化和推理加速优化。

通过高效的长文能力训练和推理加速策略，Hunyuan-Large模型的长文处理能力和推理速度得到了显著提升。

关键观点5: 模型的训练和推理基于腾讯全链路自研的Angel机器学习平台。

该平台通过优化通信效率、量化技术和并行解码等技术，有效提升了模型的训练效率和推理性能。

文章预览

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 随着人工智能技术的快速发展，大型语言模型（LLMs）在自然语言处理、计算机视觉和科学任务等领域取得了显著进展。然而，随着模型规模的扩大，如何在保持高性能的同时优化资源消耗成为关键挑战。为了应对这一挑战，腾讯混元团队率先采用混合专家（MoE）模型架构，最新发布的 Hunyuan-Large（Hunyuan-MoE-A52B）模型，是目前业界已经开源的基于 Transformer 的最大 MoE 模型，拥有 389B 总参数和 52B 激活参数。 本次腾讯混元 - Large 共计开源三款模型：Hunyuan-A52B-Pretrain，Hunyuan-A5 ………………………………