微调大模型前，重写SFT数据？

文章预览

作者：张义策 文章地址：https://zhuanlan.zhihu.com/p/710594520 Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning 论文地址：https://arxiv.org/abs/2402.13669 这是ACL24上的一篇长文。作者来自浙江大学、Sea AI Labs和腾讯。文章提出的方法比较简单。 为什么要重写SFT数据？ 问题 ：文章指出现有的大模型一般具备较好的general instruction-following abilities，但是在specific downstream tasks上可能表现不佳。为此，我们需要在特定任务上对大模型进行有监督的微调（supervised fine-tuning, SFT）。然而，这种微调在提高模型在特定任务上能力的同时，常会损害模型通用的指令遵循能力。 解决方案 ：文章指出上述问题的原因是，特定任务的数据集和大模型之间存在分布上的差异。为此，文章提出了一种名为self-distillation fine-tuning（SDFT）的方法。名字很复杂，方法其实简单。如下图所 ………………………………