电子科大提出注意力机制创新，改进 MobileViT变体在早期降采样阶段的注意力 QKV 操作研究 ！

文章预览

前言   在本研究中，作者提出了一种改进的MobileViT变体，该变体在降采样阶段的早期阶段执行基于注意力的QKV操作。直接在高分辨率特征图上执行QKV操作由于其 大尺寸和大量 Token 而计算上非常耗时 。 为了解决这个问题，作者引入了一种使用 卷积神经网络（CNN）生成重要性 Mask （Filter Mask）的滤波注意力机制 ，该 Mask 用于 选择注意力计算中最有信息量的像 素。 具体来说，卷积神经网络对特征图的像素进行评分，并按这些评分对像素进行排序，以选择前 个像素（在不同网络层中， 的值不同）。这种方法有效地减少了参与注意力计算的 Token 数量，从而降低了计算复杂性并提高了处理速度。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 集智书童 ………………………………