昆仑万维开源2千亿稀疏大模型天工MoE，全球首创能用4090推理

文章预览

2024年6月3日，昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE ， 性能强劲， 同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来， 是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型 ， 也是首个支持用单台 4090 服务器推理的开源千亿 MoE大模型。 开源地址： Skywork-MoE 的模型权重、技术报告完全开源，免费商用，无需申请： • 模型权重下载： ￮ https://huggingface.co/Skywork/Skywork-MoE-base ￮ https://huggingface.co/Skywork/Skywork-MoE-Base-FP8 • 模型开源仓库：https://github.com/SkyworkAI/Skywork-MoE • 模型技术报告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf • 模型推理代码：（支持 8x4090 服务器上 8 bit 量化加载推理） https://github.com/SkyworkAI/vllm 模型架构： 本次开源的 Skywork-MoE 模型隶属于天工 3.0 的研 ………………………………