从 MaxViT 到 ACC-ViT：视觉 Transformer 的紧凑型网络实现参数与性能的双重优化 ！

文章预览

前言   区域注意力将像素交互限制在特定区域内，而稀疏注意力则将它们分散在稀疏的网格中。这些不同的方法在保持层次关系与捕捉全局上下文之间提出了挑战。 在本文中，作者从扩张卷积获得灵感，提出了扩张注意力，这是一种结合了区域注意力和稀疏注意力的方法，它动态地整合局部和全局信息，同时保持层次结构。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 Introduction 早期的视觉 Transformer （ViT）探索了利用文本 Transformer 的看似无限可扩展性[9]来处理图像的可行性，但由于缺乏足够的感应偏置，且没有进行任何视觉特定的调整[27]，因此它们无法达到当时最先进的CNN模型[10]的水平。那些早期的ViT忽视了一个特别重要的方面，即局部模式，这 ………………………………