华为诺亚提出 MoPE-CLIP | 让小模型也有大能量！有效利用教师模型的知识并极致压缩模型！

文章预览

视觉-语言预训练模型已经在各种下游任务上取得了令人印象深刻的性能。然而，它们庞大的模型尺寸限制了在计算资源有限的平台上的应用。我们发现，直接使用较小的预训练模型并在CLIP模型上应用基于大小的剪枝会导致灵活性降低和性能下降。近期针对VLP压缩的工作要么采用单模态压缩指标导致性能有限，要么涉及成本高昂的可学习掩码的搜索过程。 在本文中，首先提出了模块化剪枝误差（MoPE）指标，通过在跨模态任务上的性能下降准确评估CLIP模块的重要性。使用MoPE指标，我们引入了一个统一的剪枝框架，适用于预训练和特定任务微调压缩阶段。对于预训练，MoPE-CLIP有效地利用了教师模型的知识，显著降低了预训练成本同时保持了强大的零样本能力。对于微调，从宽度到深度的连续剪枝产生了高度竞争性的特定任务模型。 在两个阶段的广泛 ………………………………