持续学习缓解大模型的灾难性遗忘-综述分享

文章预览

近年来，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著成就。与传统神经网络模型不同，基础语言模型通过在大量无监督数据集上进行预训练，获得了丰富的常识知识，并且具有强大的迁移学习能力。然而，由于灾难性遗忘，基础语言模型仍然无法模拟人类的持续学习能力。因此，各种基于持续学习（Continual Learning，CL）的方法被开发出来，以改进语言模型，使其能够在适应新任务的同时不遗忘以前的知识。 持续学习 ，也被称为 终身学习 或 增量学习 ，是人工智能中的一个关键领域，旨在开发能够持续更新自身并获取新知识的系统，而不遗忘先前学到的信息，类似于人类学习的过程。 今天分享的这篇综述总结并分类了现有文献中应用于基础语言模型的持续学习方法，如 预训练语言模型（PLMs） 、 大语言模型（LLMs ………………………………