ECCV'24 | LookupViT：类似SE的token压缩方案，加速还能丰富特征

主要观点总结

本文主要介绍了一种新型的视觉变换器模块——LookupViT，该模块旨在利用视觉信息冗余性来降低ViT推理成本。LookupViT通过压缩视觉信息到一个固定数量的标记来操作，利用双向交叉注意力机制实现标记间的信息共享。文章详细描述了LookupViT的设计原理、内部架构、工作流程和计算复杂度，以及与传统的ViT模块和其他压缩模块的差异。为了验证LookupViT的有效性，论文展示了其在图像和视频分类、图像标题生成等多个基准上的结果。此外，文章还介绍了论文指导班的相关信息。

关键观点总结

关键观点1: LookupViT的设计背景

利用视觉信息冗余性，降低ViT推理成本，提供有效的视觉信息压缩方案。

关键观点2: LookupViT的核心特点

通过双向交叉注意力机制实现标记间的信息共享，压缩视觉信息到一个固定数量的标记。

关键观点3: LookupViT的架构和工作流程

包括输入标记化、LookupViT块的设计、信息聚集、表示精炼、全局上下文注入等步骤。

关键观点4: LookupViT的计算复杂度

相比传统ViT模块，LookupViT消除了对查找标记数量的平方依赖，降低了计算复杂度。

关键观点5: LookupViT的实验结果

在图像和视频分类、图像标题生成等多个基准上展示了优异性能。

关键观点6: 论文指导班的相关信息

介绍了论文指导班的面向对象、指导老师背景、涉及范围、报名方式等。

文章预览

前言   LookupViT旨在利用这种信息稀疏性来降低ViT的推理成本，提供了一种新颖的通用视觉变换器块，通过将来自高分辨率标记的信息压缩到固定数量的标记来操作。这些压缩的标记进行细致的处理，而高分辨率标记则通过计算成本较低的层。通过双向交叉注意力机制，使得这两个标记集之间的信息共享成为可能。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 晓飞的算法工程笔记 仅用于学术分享，若侵权请联系删除 论文: LookupViT: Compressing visual information to a limited number of tokens 论文地址：https://arxiv.org/abs/2407.12753 Introduction 图像和视频作为现代视觉通信的基石，具有一个固有特性：它们的信息内容通常是稀疏的，并且存在显著的冗余。然而，尽管视 ………………………………