关于Deepseek采用EP推理方式的一些思考

文章预览

作者：杨鹏程（已授权） 链接：https://zhuanlan.zhihu.com/p/29573252335 前言 前段时间Deepseek发布Deepseek-V3和Deepseek-R1模型，以其超低的训练成本和堪比顶尖闭源模型的效果引起了业界轰动。除此之外，deepseek也开源了一系列的推理和训练的高性能组建，并公布他们的推理成本和盈利空间，其超高的利润也引起了广泛的讨论。本文主要从Day6中，deepseek发布的推理系统方案，发表一些自己的想法。 概要 Deepseek-V3/R1采用的是分离式架构+DP+EP，每层有256个专家和32个冗余专家，具体配置如下： Prefill：路由专家 EP32、MLA 和共享专家 DP32，一个部署单元是 4 节点，32 个冗余路由专家，每张卡 9 个路由专家和 1 个共享专家 Decode：路由专家 EP144、MLA 和共享专家 DP144，一个部署单元是 18 节点，32 个冗余路由专家，每张卡 2 个路由专家和 1 个共享专家 这里不讨论分离式架构 ………………………………