ECCV'24 | LookupViT：类似SE的token压缩方案，加速还能丰富特征

文章预览

视觉变换器（ ViT ）已成为众多工业级视觉解决方案的事实标准选择。但由于每一层都计算自注意力，这导致其推理成本对许多场景而言是不可接受的，因为自注意力在标记数量上具有平方的计算复杂度。另一方面，图像中的空间信息和视频中的时空信息通常是稀疏和冗余的。 LookupViT 旨在利用这种信息稀疏性来降低 ViT 的推理成本，提供了一种新颖的通用视觉变换器块，通过将来自高分辨率标记的信息压缩到固定数量的标记来操作。这些压缩的标记进行细致的处理，而高分辨率标记则通过计算成本较低的层。通过双向交叉注意力机制，使得这两个标记集之间的信息共享成为可能。 该方法具有多个优点（a）通过标准高层操作，在标准的机器学习加速器（ GPU / TPU ）上易于实现。（b）适用于标准的 ViT 及其变体，因此能够推广到各种任务。（c）可以 ………………………………