刚刚，DeepSeek 发布开源第二弹！推理效率起飞了

文章预览

就在刚刚，DeepSeek 第二天的开源项目 DeepEP 正式发布。 DeepSeek 官方在 X 平台发文称： 「很高兴向大家介绍 DeepEP——首个专为 MoE（专家混合）模型训练和推理打造的开源 EP 通信库。 ✅ 高效优化的全对全（all-to-all）通信 ✅ 支持节点内（intranode）和节点间（internode）通信，兼容 NVLink 和 RDMA ✅ 训练与推理预填充（prefilling）阶段的高吞吐率计算核 ✅ 推理解码（decoding）阶段的低延迟计算核 ✅ 原生支持 FP8 数据调度 ✅ 灵活的 GPU 资源控制，实现计算与通信的重叠处理」 据介绍，DeepEP 是专为专家混合（MoE）和专家并行（EP） 设计的通信库，提供高吞吐、低延迟的全对全（all-to-all）GPU 计算核，也被称为 MoE dispatch 和 MoE combine。 此外，该库还支持包括 FP8 在内的低精度计算操作。 说人话就是，DeepEP 是 MoE 模型的「通信管家」，通过软硬件协同优化，让 ………………………………