ECCV'24 | DIKI：清华提出基于残差的可控持续学习方案，完美保持预训练知识

文章预览

本研究解决了领域-类别增量学习问题，这是一个现实但富有挑战性的持续学习场景，其中领域分布和目标类别在不同任务中变化。为应对这些多样化的任务，引入了预训练的视觉-语言模型（ VLMs ），因为它们具有很强的泛化能力。然而，这也引发了一个新问题：在适应新任务时，预训练 VLMs 中编码的知识可能会受到干扰，从而损害它们固有的零样本能力。现有方法通过在额外数据集上对 VLMs 进行知识蒸馏来解决此问题，但这需要较大的计算开销。为了高效地解决此问题，论文提出了分布感知无干扰知识集成（ DIKI ）框架，从避免信息干扰的角度保留 VLMs 的预训练知识。具体而言，设计了一个完全残差机制，将新学习的知识注入到一个冻结的主干网络中，同时对预训练知识产生最小的不利影响。此外，这种残差特性使分布感知集成校准方案成为可 ………………………………