论文解读 | ACL 2024：自我蒸馏在语言模型微调中架起分布差异的桥梁

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 杨兆瑞 浙江大学CAD 全国重点实验室博士生 导师为陈为教授 概述 大型语言模型（LLMs）的兴起彻底改变了自然语言处理领域，但对它们进行特定任务的微调常常面临在平衡性能和保持一般指令遵循能力方面的挑战。在本文中，我们认为任务数据集与LLMs之间的分布差距是问题的主要根本原因。为解决这一问题，我们引入了自蒸馏微调（Self-Distillation Fine-Tuning，SDFT）方法。它引导模型对任务数据集进行改写，并在蒸馏生成的数据集上进行微调，从而弥合分布差距，并匹配模型的原始分布。我们使用Llama-2-chat模型在各种基准数据集上进行了实验，证明了SDFT能有效减轻灾难性遗忘，且在与普通微调相比时，在下游任务上实现了相当或更佳的性能。此外，SDFT表现出维持LLMs的有用性和安全对齐的潜力。 ………………………………