ECCV 2024｜谷歌提出LookupViT：全新通用视觉Transformer块

文章预览

↑ 点击 蓝字  关注极市平台 作者丨晓飞的算法工程笔记 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文介绍了谷歌提出的LookupViT，这是一种新型的通用视觉Transformer块，它通过利用图像和视频中的信息稀疏性来降低ViT的推理成本，实现了在保持或提高准确性的同时显著减少计算量。LookupViT通过压缩视觉信息到有限数量的标记，并在这些压缩标记与原始高分辨率标记之间进行信息共享，展示了在多个视觉任务中的有效性，包括图像分类和视频理解。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 视觉Transformer（ ViT ）已成为众多工业级视觉解决方案的事实标准选择。但由于每一层都计算自注意力，这导致其推理成本对许多场景而言是不可接受的，因为自注意力在标记数量上具有平方的计算复杂度。另一方面，图像中的空间信息 ………………………………