创始人梁文锋亲创！DeepSeek 开源第四弹：全面公开优化并行策略

文章预览

刚刚，DeepSeek 带来了开源周的第四弹。这次，他们一口气发布了三种在 V3/R1 模型训练中使用的优化并行策略。 首先是在 DeepSeek-V3 技术报告中介绍过的一种创新的双向管道并行算法 DualPipe ，用于 V3/R1 训练中的计算通信重叠，要求是 PyTorch 2.0 及更高版本。它实现了前向和后向计算通信阶段的完全重叠，也减少了管道气泡。据介绍，DualPipe 由包括 DeepSeek 创始人梁文锋在内的三位工程师创建和开发。 项目地址：https://github.com/deepseek-ai/DualPipe 接着是 EPLB，一种适用于 V3/R1 的专家并行负载均衡器。正如 DeepSeek-V3 论文中所描述的，其在使用专家并行（EP）时采用冗余专家策略，将重载专家重复分配，然后启发式地将重复的专家打包到 GPU 上，以确保不同 GPU 之间的负载平衡。此外，得益于 V3 中使用的组限制专家路由，他们还尝试将同组的专家放置到同一节 ………………………………