DeepSeek今日连开3源！针对优化的并行策略，梁文峰本人参与开发

文章预览

衡宇 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 按时整活！ DeepSeek开源周第四天，直接痛快「 1日3连发 」，且全都围绕一个主题： 优化并行策略 。 DualPipe： 一种创新的双向流水线并行算法，能够完全重叠前向和后向计算-通信阶段，并减少“流水线气泡”。它通过对称的微批次调度，优化了并行计算效率。 Expert Parallelism Load Balancer  (EPLB) ：用于MoE的负载均衡算法，通过复制高负载专家并智能地分配专家到不同GPU上，确保计算资源的均衡利用。它包含两种政策：层次化负载均衡和全局负载均衡。 Profiling Data： 训练和推理框架的性能分析数据，展示了通信-计算重叠策略和底层实现细节。 这三者中，DualPipe从时间上优化了计算与通信的调度，EPLB从空间上平衡利用计算资源，Profiling Data则提供了前两者在实际应用中效果的可视化证据。 且 DualPipe的开发团 ………………………………