大模型分布式训练

文章预览

最近一段时间比较忙, 所以有一段时间没有写公众号了, 同时最近在做垂直领域的大模型，所以这一次我们来聊聊分布式训练，顺便和大家聊聊我做大模型的感想。这篇文章默认大家已经掌握了pytorch框架训练神经网络。 分布式训练 目前pytorch提供两种方式的分布式训练架构:数据并行的架构  DataParallel 和分布式数据并行的架构 DistributedDataParallel 。后者用的比较多, 本文主要介绍后者并行方式。 反向传播 我们简单了解一下神经网络的反向传播, 详细知识点请读自行百度, 毕竟这部分只是为了引出分布式训练的最精髓的部分。 我们有一系列数据x, 以及对应的标签y, 我们想要找到一个x与y的函数关系。好比我们现在有动物的毛色，尾巴上翘还是下垂，叫声来判断他是猫还是狗, 我列举的动物特征(毛色、尾巴、叫声)为数据x，y为二分类变量(猫或者狗), 我们 ………………………………