Adam学习率Scaling law的「浪涌现象」

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 李rumor 卷友们好，我是rumor。 Batch size放大后，对应放大学习率是一个约定俗成的规律，但随着现在模型尺寸、计算量的增大、不同优化器的研发，这个结论是否仍然成立仍有待探究。近期腾讯的一篇工作就得到了不一样的结论。下面有请一作 李帅朋 为大家分享他们的发现～ 平时工作学习中，训练模型时候比较重要的两个超参数是Batch size和Learning rate。在采用不同Batch size训练时候，该如何调整学习率？不同的优化器上Batch size对最佳学习率的选择是否有影响？ 为了回答上面的问题，我们过往的研究 ………………………………