DeepSeek 四连炸！梁文峰参与开发

文章预览

DeepSeek 开源周第四天 2 月 27 日是 DeepSeek “开源周”的第 4 天，DS 一下就 Open 了三个仓库：DualPipe、EPLB 和 Profiling Data。 DualPipe 从时间上优化了计算与通信的调度， EPLB 从空间上平衡利用计算资源， Profiling Data 则提供了前两者在实际应用中效果的可视化证据 并且在 DualPipe 的开发者中，就有 梁文峰 本人。 （一点也不意外.jpg） DS 开源周系列： 《 第一弹：DeepSeek 推出 FlashMLA 》 《 第二弹：DeepSeek 推出 DeepEP 》 《 第三弹：DeepSeek 推出 DeepGEMM 》 今日亮点 训练速度更快 ：DualPipe 通过将计算和通信重叠，消除了空闲时间，就像接力赛中接力棒从未停止移动一样。以往拖沓的训练现在能更快完成。 成本节约 ：通过更充分地利用每块 GPU，DeepSeek AI 声称与竞争对手相比，他们已将计算需求削减了高达 11 倍，仅使用 2,048 块 Nvidia H800 GPU，而无需更昂贵的配置。 ………………………………