DeepSeek，新消息！

文章预览

DeepSeek新消息 2月25日，DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示，这是第一个用于MoE（专家）模型训练和推理的开源EP通信库。 DeepSeek表示，DeepEP具有以下特点：高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU资源控制，实现计算与通信重叠。 文档显示，DeepEP是一款针对专家混合模型（Mixture-of-Experts，MoE）和专家并行（ExpertParallelism，EP）定制的通信库。它提供了高吞吐量、低延迟的全到全（all-to-all）GPU内核，这些内核也称为MoE调度和合并。该通信库还支持低精度操作，包括FP8。 为了与DeepSeek-V3论文中提出的群体限制门控算法（group-limited gating algorithm）对接，DeepEP提供了一组针对不对称域带宽转发优化的内核，例如从NVLink ………………………………