LLM SFT trick

文章预览

技术专栏 本篇将介绍 大模型SFT的trick 。 作者： LAM https://zhuanlan.zhihu.com/p/682604566 微调基础知识： 微调是在预训练好的大型语言模型基础上，使用特定数据集进行进一步训练的过程，目的是使模型适应特定任务或领域。微调的方式主要有： 指令微调 ：通过将指令和答案拼接成文本，转换为聊天式任务进行训练。在计算损失时，只计算答案部分，指令部分通过设置忽略索引来忽略。 添加特定任务层 ：针对不同任务，如分类任务，在模型最后一层添加softmax层。 微调样本： 高质量的样本比大量中低质量的样本效果更好。大约1万左右的样本数量就能取得较好的效果。样本质量的评估需要考虑样本多样性和答案质量。 微调方法： 微调方法分为全参数微调和部分参数微调。全参数微调通常资源消耗较大，而部分参数微调方法如LoRA、Adapter等更为节省资源 ………………………………