PRM 与 HRM 双剑合璧 | 增量式 Vision Transformer 的参数有效跨任务提示 ！

文章预览

前言   本文的PECTP 框架仅学习一组单一但跨任务的提示，这些提示在所有增量任务中动态更新，以不断从每个增量任务中获取知识并将其整合到跨任务提示中。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 源代码：https://github.com/RAIAN08/PECTP I Introduction 深度模型已经在解决各种单独的机器学习任务上取得了卓越的性能。然而，在实际应用中，训练数据通常是顺序接收的，而不是一次性全部可用。因此，为深度模型装备在动态环境中学习的能力是深度学习（DL）的一个长期目标。增量学习（IL）涉及跨不同任务动态学习深度模型，并且经常遭受对先前学习任务性能下降的问题，这被称为灾难性遗忘（CF）。最近，基于排练的方法可以通过在固定内存缓冲区中 ………………………………