图解大模型训练系列：序列并行2，DeepSpeed Ulysses

文章预览

大家好，在序列并行系列中，我们已经介绍过了 Megatron SP ，今天这篇文章我们来看DeepSpeed Ulysses。 在正文开始前， 请允许我吐槽一下，DeepSpeed Ulysses继承了DS家一如既往的写作和coding风格：云里雾里，梦里心里，就是走不进你的脑子里 。所以虽然paper短小，coding改动也小，一 切都慷慨地开源了，但一切又好像没有开源 ，使整个理解过程变得过于眼鼻酸涩。举些例子来说： Ulysses的卖点之一【通讯量】竟然用一两句话就写过去了😢。 Ulysses SP的核心操作All2All过程，竟然用一个标着All2All的红箭头就概括过去了😢。 Ulysses + zero3这种官方安利的训练方法，竟然没有一个图例😢。 诸如此类。 所以本来想偷懒不看源码，最终又要从源码开始看起。那既然说起了代码，如果你也看过ds家的代码风格的话，那你应该懂我接下来没有记录下的这些眼泪(但ulysses相 ………………………………