文章预览
新 闻1: 摩尔线程成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe 在 DeepSeek 开源周第四日,摩尔线程宣布已成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe,并发布相关开源代码仓库:MT-DeepEP 和 MT-DualPipe。 据介绍,DeepEP 是一个用于 MoE(混合专家)模型训练和推理的开源 EP(expert parallelism,专家并行)通信库,主要适用于大模型训练,特别是需要 EP 的集群训练。它通过优化通信信道的使用率,提升了训练效率。摩尔线程基于 MUSA Compute Capability 3.1 全功能 GPU 适配了 DeepEP,并支持以下特性: 高效优化的 All-to-All 通信,支持 dispatch & combine 支持 MTLink + GPU(MUSA Compute Capability 3.1)节点内通信 训练及推理预填充阶段的高吞吐量计算核心 推理解码阶段的低延迟计算核心 原生支持 FP8 数据分发 灵活控制 GPU 资源,实现计算与通信的高效重叠 DualPip
………………………………