一文揭秘｜预训练一个72b模型需要多久？

主要观点总结

文章讨论了评估和量化训练大规模语言模型，特别是Qwen2-72B模型，所需的时间、资源和计算能力。作者详细解释了训练模型所需的各种参数和计算量，包括输入和输出嵌入、Transformer层、其他杂项等。同时，文章还提到了反向传播过程的计算量，以及优化器对计算量的影响。最后，作者通过公式和实验数据验证了模型的计算需求，并得出结论。

关键观点总结

关键观点1: 训练大模型所需的时间和资源

文章讨论了训练和量化大规模语言模型所需的计算资源和时间，包括所需的数据集大小、模型参数和序列长度。

关键观点2: 模型计算量的分析

文章详细分析了模型的前向传播和反向传播过程的计算量，包括注意力块、FFN块和其他杂项的计算需求。

关键观点3: 优化器对计算量的影响

文章指出，不同的优化器对计算量的需求有所不同，但总体来说，优化器对计算量的影响相对较小。

关键观点4: 实验验证

文章通过公式和实验数据验证了模型的计算需求，并得出结论，指出训练语料长度对总计算需求的影响有限。

关键观点5: 模型架构和计算量的关系

文章指出，模型的架构和计算量之间存在关系，但模型的其他部分如嵌入层和词汇映射矩阵也对计算量有重要影响。

文章预览

阿里妹导读 本文讲述评估和量化训练大规模语言模型，尤其是Qwen2-72B模型，所需的时间、资源和计算能力。 update：qwen2公布了技术报告[1]。和本文里依赖的基础信息的基本没差。但训练数据集变成7t了。笔者已经在文章中修正。另外训练语料的长度也是在最后阶段才从4096拓展到32768。所以本文预估的算力需求会有一定程度高估，但不到一倍。 背景 让我们想象一个场景，假如说某一天，上面哪个大老板突然拉着你进一个会议，会上一群人问你：假如给你一个千卡集群，让你训一个qwen/百灵/凤凰/chatglm/chatgpt出来，能不能搞？有什么困难？需要多久？ 此时肯定是结论先行：能训。此时此刻，非我莫属。 但第二个问题怎么回答呢？需要一堆数据，需要多少T，需要多少人力？需要一个工程组来搞定千卡架构的问题，需要一些算法hc，招人嘛。 那就剩下第 ………………………………