刚刚，DeepSeek开源MoE训练、推理EP通信库DeepEP，真太Open了！

文章预览

机器之心报道 机器之心编辑部 上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。 昨天，他们开源了第一个代码库 ——FlashMLA。这是一款用于 Hopper GPU 的高效型 MLA 解码核，仅用了 24 小时就达到了接近 8k 的 star 量（详情请参见《 刚刚，DeepSeek 开源 FlashMLA，推理加速核心技术，Star 量飞涨中 》）。 今天 DeepSeek 继续开源底层架构的创新， 今天开源的项目是首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP。 在分布式系统中（如多 GPU 训练环境），所有处理单元之间需要高效地传递数据。在 MoE 中，这点尤为重要，因为不同「专家」需要频繁交换信息。并且 MoE 模型容易在「专家并行」中出现负载不均衡，导致每个「专家」分到的算力不均，不重要的「专家」难以发挥应有的性能。 此次开源的 DeepEP 做到了： 1. 高效优化的 ………………………………