垂域大模型数据配比cookbook：D-CPT Law

文章预览

目前，因大语言模型训练所需的算力越来越大，为了节省训练代价，更多的研究者开始关注Scaling Law的技术发展与应用。本文将探索垂域 大语言模型(Domain-specific Large Language Models)的续训阶段(Continual Pre-Training, CPT)的Scaling Law。 本篇工作在Chinchilla Scaling Law的基础上新增了变量--混合数据比例r，并提出了D-CPT Law，并 提出了3种不同设置下 的使用方法来 验证D-CPT Law在实际场景下的使用。 随着大语言模型(Large Language Models, LLMs)的发展，模型在多个领域(数学，代码，通识等)上展现了强大的能力，但模型训练所需的算力也越来越大， 为了节省模型的训练代价，越来越多研究者关注Scaling Law的技术发展与应用，用Scaling Law来节省训练代价 。具体来说，Scaling Law的核心思想是让模型在小规模的实验(模型参数量少，模型训练语料少)下进行实验，然后通过Scaling Law来 ………………………………