论文解读 | ICML2024：大型语言模型知识编辑中的邻近扰动与APP缓解方法

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 作者简介 马君瑜 ， 中国科学技术大学博士生 论文标题 Neighboring Perturbations of Knowledge Editing on Large Language Models 论文链接 ： https://arxiv.org/pdf/2401.17623  代码链接 ： https://github.com/mjy1111/PEAK AITIME 01 引言 尽管大型语言模型 (LLMs) 具有出色的能力，但由于错误或过时的知识，它们很容易产生幻觉。由于重新训练 LLM 的资源消耗大，当下很多工作关注知识编辑。它可以在不重新训练模型的基础上，去修改模型的参数知识。然而，当前的方法和评估主要关注新的知识是否被模型记忆，很少探索编辑对邻近知识的扰动。  本文研究将新知识更新到模型中是否会扰乱其中封装的近邻知识。具体来说，如图所示，作者试图弄清楚将新答案附加到事实问题的答案列表中是否会导致灾难性地忘记此列表中的原始正确 ………………………………