学习还是自我对齐? 关于指令微调的内在机制的探究 | 中文信息处理实验室

文章预览

      论文 链接  🔗  https://arxiv.org/abs/2402.18243 指令微调(Instruction Fine-tuning，IFT)已经成为大型语言模型构建的核心步骤之一，然而关于IFT对大模型的输出的影响机制的深入分析仍然非常缺乏。当前应用指令微调的工作主要有两个目的 ， 模型行为模式的转换和注入特定领域的知识。由于缺乏对指令微调的深入分析，我们很难理解指令微调给模型带来的增益究竟是由于其成功地对齐了我们期望的输出空间，实现了更好的知识表达机制，还是由于指令微调过程中确实带来了额外的领域知识增益。 为此 ， 中国科学院软件研究所中文信息处理实验室联合美团提出 基于知识扰动的分析框架 ， 来解耦合模型行为模式转换与额外世界知识注入的作用。作者发现:  (1) 对于指令微调而言 ， 学习与模型参数知识不一致的世界知识无法带来增益 ， 甚至会造成额 ………………………………