【他山之石】北京大学 & 字节提出 VoMix 即插即用 | 标记减少的高效率 ViTs ！

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关 注！ 尽管在各种视觉任务中，视觉 Transformer （ViTs）取得了显著的成功，但它们往往受到巨大的计算成本的制约。 在本文中，作者引入了一种即插即用且无需调整参数的标记减少方法 VoMix （ VoMix ），该方法可以直接应用到市场上的ViT模型，无需进行任何训练。 VoMix通过一种逐层标记相似度投票机制，识别出具有高同质性的标记，从而减少ViTs的计算冗余。然后，选定的标记被混合到保留集合中，从而保留视觉信息。 实验表明，VoMix在图像和视频上显著提高了ViTs的速度与准确性权衡。在无需 ………………………………