ICLR'25 Oral | 大型语言模型微调的学习动态

文章预览

来源 ：AI TIME 论道 本文 共4500字 ，建议阅读 5 分钟 本文通过详细分析GAN的经典损失函数及其多种变体，揭示了不同类型损失函数各自的优势。 个人信息 作者：任毅，英属哥伦比亚大学博士生 内容简介 学习动态（Learning dynamics）描述了特定训练样本的学习过程如何影响模型对其他样本的预测，为我们理解深度学习系统的行为提供了有力工具。我们通过分析不同潜在响应之间影响积累的逐步分解，研究了大型语言模型在不同微调类型中的学习动态。我们的框架能够统一解释关于指令微调和偏好微调中流行算法训练的许多有趣现象。特别是，我们提出了一个假设性的解释，说明为什么某些类型的幻觉（hallucination）在微调后会增强。例如，模型可能会使用回答问题B的短语或事实来回答问题A，或者在生成响应时不断重复类似的简单短语。我们还扩展了 ………………………………