Transformer从菜鸟到新手(五)

文章预览

来源：投稿  作者：175 编辑：学姐 引言 上篇文章 我们在单卡上完成了完整的训练过程。 从本文开始介绍模型训练/推理上的一些优化技巧，本文主要介绍多卡并行训练。 下篇文章将介绍大模型推理常用的缓存技术。 多卡训练 第一个要介绍的是利用多GPU优化，因为在单卡上训练实在是太慢。这里使用的是PyTorch提供的 DistributedDataParallel 。 还有一种简单的方法是 DataParallel ，但效率没有 DistributedDataParallel 高。 DistributedDataParallel is proven to be significantly faster than torch.nn.DataParallel for single-node multi-GPU data parallel training. 分布式数据并行训练(Distributed Data Parallel Training, DDP)是一种广泛采用的单程序多数据训练范式。使用DDP，模型在每个进程上都被复制，每个模型副本将被提供不同的输入数据样本。DDP负责梯度通信，以保持模型副本同步，并将其与梯度计算 ………………………………