从虚构到现实！FAME助力模型编辑走向实际应用

文章预览

论文 ：FAME: Towards Factual Multi-Task Model Editing   链接 ：https://arxiv.org/abs/2410.10859 项目 ：https://github.com/BITHLP/FAME 前言 大语言模型中丰富的知识使得其在如智能助理，法律顾问，医疗咨询等多个领域中表现出色。但是大语言模型中过时的知识或事实错误会导致不正确的输出，进而在实际应用中导致严重后果。微调和重新训练都可以修正大语言模型中的事实，但是微调可能导致灾难性遗忘，而重新训练的代价过高。为了解决这一问题，之前的工作提出了 模型编辑 任务用于精准高效地修正大语言模型中的知识。 然而，之前的数据集如COUNTERFACT[1]或ZSRE[2]存在以下问题： 使用虚构的数据：编辑的目标是虚构的，使得这些数据集不能真实用于提升模型能力。 包含的任务单一：不能适应真实世界的复杂情景. 大语言模型的回答可能因过时而错误，模型编辑可以 ………………………………