为什么说大模型训练很难？聊聊预训练的一些经验

文章预览

作者 | 罗小黑  整理 | 青稞AI  https://www.zhihu.com/question/498271491 自从Bert网络模型产数量超过3亿规模，当时候只是觉得性能好，没想到GPT系列出来后，GPT-3直接用170B规模的参数量模型精度碾压竞品。 接着就是新一轮的竞争了，后面的事情就有点可怕了，Google推出万亿稀疏switch transformer，huawei推出2000亿稠密鹏程盘古大模型，微软推出Turing-NLG有1000亿参数，英伟达推出MegatronLM系列。 大家都说大模型难，大模型训练 除了集群调度麻烦，还难在哪里吗？ 之前做过一部分预训练的工作，训的模型是7B，13B大小，分享一下个人的感受。 首先是 训练方面 ，这两个量级的模型训练起来其实和小模型差不多，参数设置上有两个地方需要注意：一个是 学习率需要略小 ，在e-5这个量级就可以，其次是 global_batch需要比较大 ，一般在2-4M tokens，这样训练起来会比较稳 ………………………………