将Transform网络（T2T-ViT,LV-ViT）加速超31%，使用多准则Tokens融合方法实现高效ViT

文章预览

Abstract 视觉Transformer（ViT）已成为计算机视觉领域的主要骨干网络。为了实现更高效的ViT，最近的研究通过剪枝或融合冗余的tokens来减少自注意力层的二次计算成本。然而，这些研究面临着由于信息丢失而导致的速度与精度的权衡。在本文中，我们认为在融合tokens时需要考虑tokens之间的多样化关系，以最大限度地减少信息丢失。为此，我们提出了一种多准则token融合（MCTF）方法，基于多准则（即相似性、信息量和融合后tokens的大小）逐步融合tokens。此外，我们利用了一步提前注意力（one-step-ahead attention），这是捕捉tokens信息量的改进方法。通过使用token减少一致性训练配备MCTF的模型，我们在图像分类（ImageNet1K）中达到了最佳的速度与精度的权衡。实验结果证明，MCTF在有无训练的情况下，一致超越了之前的减少方法。具体来说，带有MCTF的DeiT-T和DeiT- ………………………………