阿里安全-华东师大-阿里云针对大语言模型知识编辑的联合研究成果入选EMNLP 2024

文章预览

近日，阿里安全内容安全团队与华东师范大学计算机科学与技术学院、阿里云计算平台针对大语言模型知识编辑的联合研究成果《Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning》被EMNLP 2024收录。 大语言模型已经能很好的解决各种NLP任务，凸显模型在理解、推理和生成等各方面强大的能力。 然而，在开放域和内容安全场景中的文本新知识更新频繁，如何让大模型能快速准确、高效地吸收新知识是一个重要的研究课题。 之前的工作针对大模型关于新知识的快速迭代主要集中在单次或批量知识编辑上，然而由于灾难性的知识遗忘和模型性能的下降，这些方法在终身编辑场景中表现不佳。尽管基于检索的方法缓解了这些问题，但它们仍受到将检索到的知识集成到模型中缓慢而繁琐过程的阻碍。 在这项工作中我们提出RECIPE，这是一种 ………………………………