ICLR 2025 | 大模型“遗忘”竟是错觉？华南理工团队首次揭示LLM训练中的“虚假遗忘”

文章预览

近年来，大型语言模型（LLMs）在诸如 安全对齐、指令微调 等 领域均取得了卓越表现。然而，在对这些模型进行 持续训练 时，人们经常观察到旧任务性能的骤降。传统观点往往将其归结为 灾难性遗忘 。但我们的最新研究发现，这种表观遗忘实际上是一种 虚假遗忘 ——在大多数情况下，模型对旧任务的 潜在知识 依然完好，只是 任务对齐 在新任务初期的学习过程中遭到了破坏。 论文标题： Spurious Forgetting in Continual Learning of Language Models  论文链接： https://openreview.net/forum?id=ScI7IlKGdI 代码链接： https://github.com/zzz47zzz/spurious-forgetting 一、引言：为什么说“大模型遗忘”有时是一种假象？ 尽管大型语言模型（LLMs）在众多任务上展现出卓越的能力，但近年来的研究表明，它们在 持续学习 场景下往往遭遇严重的“灾难性遗忘”。也就是说，模型在学习 ………………………………