【小白必备】Meta祭出三篇最详尽的LLaMA微调指南

文章预览

【点击】 加入大模型技术交流群 来源：新智元 编辑：桃子 开源，就要开的彻彻底底。 这不，Meta一连放出三篇技术文章，从大模型适配方法出发，介绍了： 如何使用特定领域数据微调LLM，如何确定微调适配自己的用例，以及如何管理良好训练数据集的经验法则。 接下来，直接进入正题。 01 适配大模型 预训练 预训练是指，使用数万亿个token数据，从头开始训练LLM的过程，通常使用自监督算法进行训练。 最常见的情况是，训练通过自回归预测下一个token（也称为因果语言建模）。 预训练通常需要数千个GPU小时（105-107个），并分布在多个GPU上进行。 预训练的输出模型称为「基础模型」。 继续预训练 继续预训练（也称为第二阶段预训练）将使用全新的、未见过的领域数据进一步训练基础模型。 这里，同样使用与初始预训练相同的自监督算法。 通 ………………………………