我爱DeepSpeed-Ulysses：重新审视大模型序列并行技术

文章预览

作者丨方佳瑞 来源丨https://zhuanlan.zhihu.com/p/703669087 编辑丨GiantPandaCV 题记： 2024/06/17 updates：本文之前题目是《告别DeepSpeed-Ulysses，来用Odysseus：重新审视大模型序列并行技术》，试图对Ulysses进行优化，来设计通信更优的方法。经过网友指正，我对Ulysses的通信开销估计有误，努力都是徒劳。改正后，我发现Ulysses真香。原文我也不删了，读者评论非常有意义。我对有问题的论断做了一些标注，供大家参考。 前言： 众所周知，笔者最近在研究大模型的 序列并行 技术。我在知乎比较过DeepSpeed-Ulysses和Ring-Attention，提出了一种融合二者的混合序列并行USP（Unified Sequence Parallelism），讨论和4D并行的最佳实践和一些实际应用前景。 序列并行做大模型训练，你需要知道的六件事 USP以其易于实现和性能只增不减无副作用的优势，被很多人开始使用。大家也都发现 ………………………………