GPipe：微批量流水线并行

文章预览

论文标题：GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism 论文链接：https://arxiv.org/abs/1811.06965 论文来源：Google 一、概述 如下图所示，近过去十年中，由于开发了促进神经网络有效容量扩大的方法，深度学习取得了巨大进步。这种趋势在图像分类中表现得尤为明显，就像ImageNet的模型容量增加带来的精度提升一样。在自然语言处理的背景下也可以观察到类似的现象，简单的浅层句子表示模型被其更深更大的对应模型超越。 现象 然而，虽然更大的模型为许多领域带来了显著的质量提升，但扩大神经网络也带来了重大的实践挑战。包括内存限制和加速器（GPU或TPU）的通信带宽在内的硬件约束，迫使用户将更大的模型划分为多个部分，并将不同的部分分配给不同的加速器。然而，高效的模型并行算法非常难以设计和实现，这通常要求实践者在扩大容量、灵 ………………………………