大模型真正遗忘了吗？一种简单方法恢复已遗忘的知识 | 推理缩放定律的简单模型研究

文章预览

前言： 如果你想成为一只科学界的“独角兽”，那么看论文是必不可少的。只有掌握了最新的技术和理论，才能在这个竞争激烈的市场中脱颖而出，成为那只最闪亮的“独角兽”！ 1. 大模型真正遗忘了吗？一种简单方法恢复已遗忘的知识   标题： Does your LLM truly unlearn? An embarrassingly simple approach to recover unlearned knowledge   机构： 哈佛大学、Amazon、宾夕法尼亚州立大学   相关领域： 模型结构改进、预训练、指令微调、奖励模型、RLHF、模型评估、数据集构建、评估指标、模型蒸馏、多模态   作者： Zhiwei Zhang,  Fali Wang,  Xiaomin Li   分析： 这篇论文主要探讨了大型语言模型(LLMs)在训练过程中可能会从其训练数据中学习到一些不适当或敏感的内容，如受版权保护或私人信息的内容。为了解决这个问题，提出了一种机器遗忘的方法，即在不重新训练的 ………………………………