专栏名称: OSC开源社区
OSChina 开源中国 官方微信账号
目录
相关文章推荐
今天看啥  ›  专栏  ›  OSC开源社区

国内首发!腾讯混元两大核心模型在 Gitee 正式开源

OSC开源社区  · 公众号  · 程序员  · 2024-11-05 19:54

主要观点总结

腾讯混元大模型家族发布了两款新模型Hunyuan-Large(Hunyuan-MoE-A52B)和Hunyuan3D-1.0,分别针对不同场景的使用需求。两款模型现均已在Gitee正式开源。其中,Hunyuan-Large是业界参数规模最大、效果最好的Transformer架构的开源MoE模型,更适配开源框架精调和部署。Hunyuan3D-1.0则是业界首个同时支持文字、图像生成3D的开源大模型,解决了现有3D生成模型在生成速度和泛化能力上的不足。

关键观点总结

关键观点1: 腾讯混元大模型家族发布两款新模型Hunyuan-Large和Hunyuan3D-1.0

这两款模型分别针对企业及开发者的不同场景需求进行设计和优化,并在Gitee上正式开源。

关键观点2: Hunyuan-Large的特点和优势

Hunyuan-Large拥有庞大的参数规模和优秀的性能,是业界领先的Transformer架构的开源MoE模型。它采用了创新的模型结构和训练策略,包括MoE ScalingLaw的探索、专家特化的学习率适配训练策略等,实现了参数高效利用和计算成本优化。此外,它还采用了Grouped-Query Attention(GQA)和Cross-Layer Attention(CLA)两种策略,对KV Cache进行了压缩,提升了模型的推理性能。

关键观点3: Hunyuan3D-1.0的特点和优势

Hunyuan3D-1.0是业界首个同时支持文字、图像生成3D的开源大模型,解决了现有3D生成模型在生成速度和泛化能力上的不足。它采用了多视角扩散模型和前馈重建模型两个阶段,实现了高效且准确的3D资产生成。此外,腾讯混元大模型团队还提供了两个公开的3D数据集GSO与OmniObject3D,供开发者研究使用。


文章预览

11月5日,腾讯混元大模型家族正式发布了两款新模型,分别是混合专家(MoE)模型 Hunyuan-Large(Hunyuan-MoE-A52B) ,及 3D 生成模型 Hunyuan3D-1.0 ,支持企业及开发者精调、部署等不同场景的使用需求, 两款模型现均已在 Gitee 正式开源 。 💡Hunyuan-Large Gitee 仓库地址:https://gitee.com/Tencent/Tencent-Hunyuan-Large 💡Hunyuan3D-1.0 Gitee 仓库地址:https://gitee.com/Tencent/Hunyuan3D-1 Hunyuan-Large Hunyuan-Large(Hunyuan-MoE-A52B)模型 拥有 3890 亿总参数和 520 亿激活参数,上下文长度达256k ,是当前业界参数规模最大、效果最好的 Transformer 架构的开源 MoE 模型,更适配开源框架精调和部署。该模型在多轮对话、高质量文本生成、数学逻辑、代码创作等多个场景中表现优异。 MoE 模型(Mixture of Experts Models,混合专家模型)是一种通过多个专家网络来协同处理不同任务的深度学习模型结构。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览