图解大模型训练之：数据并行（DP、DDP、ZeRO、零冗余优化)

主要观点总结

本文介绍了大模型场景里数据并行的实现方法，包括DP、DDP和ZeRO三种方式。文章详细阐述了每种方式的原理、实现细节和优缺点，以及针对存储消耗的优化方法。最后简单介绍了ZeRO-Offload与ZeRO-Infinity。

关键观点总结

关键观点1: 数据并行的实现方式

包括DP、DDP和ZeRO三种。DP是最早的数据并行模式，采用参数服务器这一编程框架；DDP是更通用的解决方案，通过Ring-AllReduce方法解决通讯问题；ZeRO用通讯换显存，通过优化状态分割、梯度分割和参数分割来降低存储消耗。

关键观点2: 存储消耗的优化

包括优化状态分割、优化状态与梯度分割、优化状态、梯度与参数分割等。使用固定大小的内存buffer进行存储，提升带宽利用率，并设置机制对碎片化的存储空间进行重新整合。

关键观点3: ZeRO-Offload与ZeRO-Infinity

ZeRO-Offload将部分数据卸载到CPU上，以减少显存和通讯压力。ZeRO-infinity同理，它们都在解决数据存储和计算性能的问题。

免责声明