​南大发布最新综述！全面解析如何使用预训练模型进行持续学习

文章预览

©PaperWeekly 原创 · 作者 |  孙海龙 单位 |  南京大学LAMDA实验室 研究方向 |  预训练模型、MLLM 论文标题： Continual Learning with Pre-Trained Models: A Survey 论文地址： https://arxiv.org/abs/2401.16386 代码链接： https://github.com/sun-hailong/LAMDA-PILOT 摘要 在实际应用中，数据通常以流数据的形式出现，这就要求模型必须持续地吸纳新知识。持续学习（Continual Learning, CL）应运而生，旨在实现这一目标，同时努力避免在吸收新知识过程中对既有知识的灾难性遗忘。传统的 CL 方法从零开始构建模型，以适应不断更新的数据流。 然而，随着预训练模型（Pre-trained Models, PTM）时代的到来，如何利用 PTM 的强大能力来进行 CL 成为一个新的研究热点。本文综述了基于 PTM 的 CL 研究的最新进展，将现有方法分为三大类，并对它们之间的相似性、差异性及各自的优势和劣势进行了深入的 ………………………………