《超大规模操作手册：在 GPU 集群上训练 》Part1(基础概念,DP,TP)

主要观点总结

本文介绍了从单个GPU扩展到数百个GPU训练大型语言模型（LLM）的策略和技巧。首先，文章介绍了数据并行（DP）和梯度累积的基本概念，以及如何通过优化这些策略来减少内存使用和提高效率。接着，文章深入探讨了ZeRO方法，这是一种用于减少LLM训练中内存冗余的技术。文章还介绍了张量并行（TP）的概念，以及如何在Transformer模型的构建块中应用它。最后，文章讨论了张量并行和ZeRO方法如何帮助训练更大的模型，并强调了计算效率和内存使用之间的权衡。

关键观点总结

关键观点1: 数据并行（DP）和梯度累积

数据并行通过在多个GPU上复制模型并对不同Micro Batch Size数据并行执行前向和反向传播来扩展训练。梯度累积通过将batch拆分为Micro Batch来避免内存爆炸，同时保持内存占用不变。

关键观点2: ZeRO方法

ZeRO通过在数据并行维度上划分优化器状态、梯度和参数来消除内存冗余，允许训练通常无法适应单个GPU的模型。

关键观点3: 张量并行（TP）

张量并行不仅对权重、梯度和优化器状态进行分片，还对激活进行分片，无需在计算前收集它们，有助于减少激活内存。

关键观点4: 计算效率和内存使用的权衡

随着扩展到更多的GPU，通信开销开始成为瓶颈。需要权衡计算效率和内存使用，以确定最佳的扩展策略。

文章预览

翻译自 ：https://huggingface.co/spaces/nanotron/ultrascale-playbook 作者：nanotron 校正：pprp 我们在最多 512 个 GPU 上进行了超过 4000 次扩展实验，测量了吞吐量（标记大小）和 GPU 利用率（标记颜色）。请注意，这两个指标均按模型大小进行了归一化处理，以便更直观地展示。 Overview 成排的GPU集群发出整齐划一的轰鸣，这正是训练当代顶尖AI模型所需的场景——一场算力交响曲的演绎，而这般景象在不久前还只是顶尖实验室的专利。开源运动虽然打破了技术垄断，却未能完全消弭核心壁垒。如今，任何人都能自由下载最新的Llama或DeepSeek模型，研读其技术文档和实验报告。但真正的精要所在——那套驾驭GPU集群训练庞然智能体的工程体系，那些在分布式系统中精妙调谐万千计算单元的核心技艺——仍如深藏云端的圣殿，其奥义散落在晦涩难懂的学术论文与彼此割 ………………………………