细谈大模型监督微调SFT：实战经验技巧和debug分析思路

文章预览

©PaperWeekly 原创 · 作者 |  ybq 研究方向 |  LLM alignment 这篇文章介绍一下大模型的 SFT 如何去做。 SFT  其实没有太多的技术细节和琐碎工作需要科普。因此，我会默认读者们都知道 SFT 是做什么的以及如何去做一些简单的 SFT 微调工作，我主要是分享一些经验技巧和 debug 的分析思路。 老样子，为避免老板开了我，涉及到 agent / 复杂指令 / 长文本等相对避讳一点的话题，我会点到为止，主要聊聊大的技术方向，细节可能就不多说了，望大家见谅。 背景篇 这里先普及一些 SFT 涉及到的基础概念，方便新人同学理解后续内容，老同学则可以跳过这一篇章。 Special Token pretrain 阶段完全没见过的  token ， 在 SFT 阶段会被赋予全新的语义。主要用于标注对话的角色：user、 assistant 、 system 这些。 此外，special_token 可以用来“构造知识”，比如" 喜欢 "这种知 ………………………………