代码数据在预训练时要训吗？训多少？退火时要放吗？

文章预览

To Code, or Not To Code? Exploring Impact of Code in Pre-training 代码数据在预训练时要训吗？训多少？退火时要放吗？ ‍‍‍‍‍ 小编一直坚信代码数据与代码任务的重要性，恰好有一篇 前些天很火的文章，给出了很多关于这方面的详细结论。首先放一张网友总结的图片如下。 传言代码数据在提高通用LLM表现上有很关键作用，但分析代码在非代码任务上的具体影响的工作很有限。作者在自然语言推理、世界知识类任务、代码任务测试上和以LLM-as-a-judge的胜率比较的方式评估从470M到2.8B规模的模型表现。在各类设置中，作者发现了一致的结果，即代码质量的提升对所有任务都有显著的影响。各项结论如下： 代码为其他非代码任务提供关键提升 ：与仅限于文本的预训练相比，加入代码可使自然语言推理能力相对提升8.2%，世界知识（world knowledge）相对提升4.2%，生 ………………………………