腾讯为什么支持开源？

文章预览

今天看到一条新闻，感觉腾讯在 AI 大模型方面确实挺厉害的，符合它低调务实的风格，在不知不觉中一天竟然开源了两个核心的，重要的 AI 大模型。 据新闻报道，11月 5 日，腾讯混元宣布最新的 MoE 模型“混元 Large” 以及混元 3D 生成大模型正式开源。 同时，腾讯云TI平台和高性能应用服务 HAI 也于宣布开放接入这两个模型，为模型的精调、API调用及私有化部署提供一站式服务。 简单介绍一下这两个大模型。 腾讯混元 Large 模型是基于 MoE 模型结构的，熟悉 AI 技术的同学应该知道，MoE(Mixture of Experts)，即混合专家模型，是目前国内外主流的大模型结构，MoE 模型的每一层都包含多个并行的同构专家，一次 token 的前向计算只会激活部分专家，是一种稀疏的网络结构，因而推理成本远低于同等参数的稠密模型。 这次腾讯混元 Large 模型总参数量 389B，激活 ………………………………