聊聊字节 AML 万卡工作 MegaScale: Scaling Large Language Model Training

文章预览

作者丨无恶不作 来源丨https://zhuanlan.zhihu.com/p/684619370 编辑丨GiantPandaCV 1. 摘要 字节介绍了用于训练大规模语言模型（LLM）的生产系统 MegaScale。在这个系统上高效稳定的在万卡级别进行千亿级别模型训练。同时考虑到训练计算的高效性，通过模型块和优化器设计、计算和通信重叠、算子优化、数据流水线和网络性能调优来共同设计算法和系统组件。考虑到LLM训练作业的长时间跨度。许多稳定性问题只有在大规模下才会出现，而深入的可观测性是解决这些问题的关键。我们开发了一套诊断工具，用于监控系统组件和堆栈中的事件，识别根本原因，并得出有效的技术来实现容错和减轻滞后现象。在使用 12,288 个 GPU 训练 175B 的 LLM 模型时，MegaScale 实现了 55.2% 的模型 FLOPs 利用率（MFU），相比 Megatron-LM 提高了 1.34 倍的MFU。 2.整体介绍 大规模语言模型（LLM） ………………………………