专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
今天看啥  ›  专栏  ›  数据派THU

细谈大模型监督微调SFT:实战经验技巧和debug分析思路

数据派THU  · 公众号  · 大数据  · 2024-10-22 17:00
    

主要观点总结

本文介绍了大模型SFT(Special Token Fine-tuning)的经验技巧和debug分析思路。文章从背景、数据、训练、评估、总结等方面详细讲述了SFT的过程,包括基础知识普及、数据多样性的重要性、训练框架和参数选择、拟合问题处理等。作者强调,SFT工作相对简单,不需要过多的算法或编程知识,主要是经验和对模型感觉的培养。文章还感谢了合作伙伴,并提到了数据派THU公众号。

关键观点总结

关键观点1: 背景篇

文章普及了SFT涉及的基础概念,包括特殊token的预训练阶段和SFT阶段的差异,以及它们对模型生成速度和生成的token数量的影响。

关键观点2: 数据篇

强调了数据多样性和数据质量的重要性,并讨论了数据生产的方法,如利用GPT-4等模型生成prompt和answer,以及数据去重和鲁棒性数据等。

关键观点3: 训练篇

讨论了训练框架、参数设置、以及炼丹技巧,包括epoch、学习率、gradient_accumulation_steps等,并强调了过拟合和欠拟合的处理方法。

关键观点4: 评估篇

介绍了评估方式,包括机评和人评,以及评估结果的分析,如何通过对比评估找出模型不拟合的原因。

关键观点5: 总结篇

总结了SFT的要点,强调了经验和对模型感觉的培养,并感谢了合作伙伴,提到了数据派THU公众号。


文章预览

来源 :PaperWeekly 本文 约15000字 ,建议阅读 15+分钟 本文 介绍了大模型的 SFT 如何去做。 这篇文章介绍一下大模型的 SFT 如何去做。SFT 其实没有太多的技术细节和琐碎工作需要科普。因此,我会默认读者们都知道 SFT 是做什么的以及如何去做一些简单的 SFT 微调工作,我主要是分享一些经验技巧和 debug 的分析思路。 老样子,为避免老板开了我,涉及到 agent / 复杂指令 / 长文本等相对避讳一点的话题,我会点到为止,主要聊聊大的技术方向,细节可能就不多说了,望大家见谅。 1、背景篇 这里先普及一些 SFT 涉及到的基础概念,方便新人同学理解后续内容,老同学则可以跳过这一篇章。 Special Token pretrain 阶段完全没见过的 token,在 SFT 阶段会被赋予全新的语义。主要用于标注对话的角色:user、assistant、system 这些。 此外,special_token 可以用来“构造知 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览