大规模模型训练tricks集锦

文 | Connolly@知乎整理 | 夕小瑶的卖萌屋大规模模型训练其实就是在和计算、存储和通信玩的过程，所以我列一下跟这些相关的文章。1. 大规模模型并行策略先来介绍一下几种经典的并行范式，以及他们对应的经典文章1.1 数据并行(Data parallelism)不同设备执行相同模型，不同数据。▲数据并行这个比较简单，贴一篇PyTorch DDP：PyTorch Distributed: Experiences on Accelerating Data Parallel Training1.2 模型并行(Model Parallelism or Tensor Parallelism)不同设备执行相同数据，模型不同部分，图为行切分模型并行的一个例子。▲模型并行代表性工作：Megatron-LM: Efficient Large-Scale Language Model Training on GPU ClustersMesh-Tensorflow:  Mesh-TensorFlow: Deep Learning for Supercomputers1.2.1 高维模型并行对参数矩阵进行二维以上切分的方法，目前尤洋的潞晨科技主推的夸父分布式框架在做这个。夸父：Col ………………………………