免训练大模型知识编辑，吸收新数据更高效｜EMNLP'24

文章预览

阿里安全 投稿 量子位 | 公众号 QbitAI 让大模型能快速、准确、高效地吸收新知识！ 被EMNLP 2024收录的一项新研究，提出了一种检索增强的连续提示学习新方法，可以 提高知识终身学习的编辑和推理效率 。 模型编辑旨在纠正大语言模型中过时或错误的知识，同时不需要昂贵的代价进行再训练。终身模型编辑是满足LLM持续编辑要求的最具挑战性的任务。 之前的工作主要集中在单次或批量编辑上，由于灾难性的知识遗忘和模型性能的下降，这些方法在终身编辑场景中表现不佳。尽管基于检索的方法缓解了这些问题，但它们受到将检索到的知识集成到模型中的缓慢而繁琐的过程的阻碍。 而名为 RECIPE 的最新方法，它首先 将知识描述转换为简短且信息丰富的连续提示的token表示 ，作为LLM输入查询嵌入的前缀，有效地细化基于知识的生成过程。 它还集成了 ………………………………