ECCV'24 | ToCom：华为推出通用ViT标记压缩器，一次训练适配所有场景

文章预览

标记压缩通过减少冗余标记的数量（例如，修剪不重要的标记或合并相似的标记）来加快视觉变换器（ ViTs ）的训练和推理。然而，当这些方法应用于下游任务时，如果训练和推理阶段的压缩程度不匹配，会导致显著的性能下降，这限制了标记压缩在现成训练模型上的应用。因此提出了标记补偿器（ ToCom ），以解耦两个阶段之间的压缩程度。该插件通过在预训练模型上额外执行了一个快速参数高效的自蒸馏阶段获得一个小型插件，描述了不同压缩程度下模型之间的差距。在推理过程中， ToCom 可以直接插入到任何下游现成模型中，无论训练和推理的压缩程度是否匹配，都能获得通用的性能提升，而无需进一步训练。 来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning 论文地址：h ………………………………