简单且高效！南大联合南洋理工提出基于预训练模型的持续学习新范式

文章预览

©PaperWeekly 原创 · 作者 |  蔡孜雯 单位 |  南京大学人工智能学院 研究方向 |  持续学习 在实际应用中，模型常常需要处理连续的数据流，也就是类增量学习问题（Class Incremental Learning，CIL）。在这种场景下，模型需要在不遗忘旧知识的前提下，不断学习新类别的知识。近年来，预训练模型（Pre-Trained Model，PTM）的兴起已经为多个领域带来了变革性的发展机会，这也为处理类增量学习中面临的主要挑战——灾难性遗忘（Catastrophic Forgetting），带来了新的启发。  针对基于预训练模型的类增量学习问题，本文提出了一个 稳健的基线模型 SimpleCIL  和一个 强大的学习框架 AdaPt and mERge（Aper） —— 旨在于在充分利用预训练模型的 泛化性（generalizability） 的同时，保持对于新任务的学习 适应性（adaptivity） 。 此外，考虑到预训练模型的预训练数据与传统基 ………………………………