文章预览
转自:新智元 开源,就要开的彻彻底底。 这不,Meta一连放出三篇技术文章,从大模型适配方法出发,介绍了: 如何使用特定领域数据微调LLM,如何确定微调适配自己的用例,以及如何管理良好训练数据集的经验法则。 接下来,直接进入正题。 适配大模型 预训练 预训练是指,使用数万亿个token数据,从头开始训练LLM的过程,通常使用自监督算法进行训练。 最常见的情况是,训练通过自回归预测下一个token(也称为因果语言建模)。 预训练通常需要数千个GPU小时(105-107个),并分布在多个GPU上进行。 预训练的输出模型称为「基础模型」。 继续预训练 继续预训练(也称为第二阶段预训练)将使用全新的、未见过的领域数据进一步训练基础模型。 这里,同样使用与初始预训练相同的自监督算法。 通常会涉及所有模型权重,并将一部分原始数据与
………………………………