文章预览
作者丨方佳瑞 来源丨https://zhuanlan.zhihu.com/p/703669087 编辑丨GiantPandaCV 题记: 2024/06/17 updates:本文之前题目是《告别DeepSpeed-Ulysses,来用Odysseus:重新审视大模型序列并行技术》,试图对Ulysses进行优化,来设计通信更优的方法。经过网友指正,我对Ulysses的通信开销估计有误,努力都是徒劳。改正后,我发现Ulysses真香。原文我也不删了,读者评论非常有意义。我对有问题的论断做了一些标注,供大家参考。 前言: 众所周知,笔者最近在研究大模型的 序列并行 技术。我在知乎比较过DeepSpeed-Ulysses和Ring-Attention,提出了一种融合二者的混合序列并行USP(Unified Sequence Parallelism),讨论和4D并行的最佳实践和一些实际应用前景。 序列并行做大模型训练,你需要知道的六件事 USP以其易于实现和性能只增不减无副作用的优势,被很多人开始使用。大家也都发现
………………………………