EMNLP 2024 | 基于知识编辑的大模型敏感知识擦除

文章预览

论文题目： To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models 本文作者： 田博中（浙江大学）、梁孝转（腾讯）、程思源（腾讯）、刘庆斌（腾讯）、王梦如（浙江大学）、隋典伯（哈尔滨工业大学）、陈曦（腾讯）、陈华钧（浙江大学）、张宁豫（浙江大学） 发表会议： EMNLP 2024 Findings 论文链接： https://arxiv.org/abs/2407.01920 代码链接： https://github.com/zjunlp/KnowUnDo 欢迎转载，转载请注明 出处 一、引言 大模型（LLMs）的训练数据中可能包含敏感信息，例如个人隐私和受版权保护的内容，因此需要对这些知识进行有效擦除。然而，直接从预训练语料中移除相关数据并重新训练模型不仅成本高昂，且计算量巨大。为此， 基于知识编辑的敏感知识擦除技术应运而生，作为一种后训练阶段的解决方案，可高效地清除模型参数中不适宜的知识 。 ………………………………