源于LoRA又强于LoRA | LoRKD利用低秩知识分解实现增强专业性的同时降低资源消耗

文章预览

前言   广泛采用大规模预训练技术极大地推动了医疗基础模型的开发，使其能作为多种医疗任务的通用工具。然而，尽管它们具有强大的泛化能力，但预在大规模数据集上进行训练的医疗基础模型往往会在异构数据之间存在领域间隙，导致在 特定任务上的性能不如专业模型 ，这一点在以前的研究中得到了证明。 在本文中，作者探索了一种新视角，称为“知识分解”，以提高特定医疗任务的性能，该方法 将基础模型分解为多个轻量级专家模型 ， 每个模型专门针对一个特定的解剖区域 ，旨在增强专业性和同时降低资源消耗。 为实现上述目标，作者提出了一种新颖的框架，名为低秩知识分解（LoRKD），通过引入低秩专家模块和高效的知识分离卷积，明确地将不同任务之间的梯度分离开来。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏 ………………………………