大规模深度学习模型的高效训练：综述（下）

文章预览

。。。继续介绍综述论文“On Efficient Training of Large-Scale Deep Learning Models: A Literature Review“，京东、悉尼大学和中科大的合作。 系统为中心的高效训练 讨论在如下方面： 以系统为中心的数据效率。高效的数据处理和数据并行是系统实现中的两个重要因素。随着数据集的快速增加，低效的数据处理逐渐限制了训练效率，尤其是在多节点的大规模训练中。设计更硬件友好的计算方法和并行化可以有效地避免训练中的时间浪费。 以系统为中心的模型效率。随着模型参数量的急剧增加，从模型角度来看，系统效率已成为重要的瓶颈之一。大模型的存储和计算效率给硬件实现带来了巨大挑战。高效的部署I/O和简化模型并行性的实现，加快实际训练。 以系统为中心的优化效率。优化过程表示每次迭代中的反向传播和更新，这是训练中最耗时的计算。因此，实 ………………………………