探讨大模型预训练与微调之间的相互作用

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | NLP工作站 作者 | 刘聪NLP 今天给大家带来一篇探讨大模型预训练与微调之间关系的文章，主要通过微调预训练阶段各个checkpoint，来发现预训练本身或对下游微调有哪些影响。 大模型在预训练过程中的性能如何变化？ 更多步数的预训练对下游微调有何影响？ 大模型微调学到了什么，又忘记了什么？ Paper: https://arxiv.org/abs/2408.06663 由于目前开源模型中，开放全量checkpoints的模型较少，并且实验成本较大，以下分析结果主要基于OLMo-1B模型（同时训练细节、预训练数据、微调数据都公开了）进行实验，微 ………………………………