ICML 2024｜华为诺亚提出SLAB：从BN和注意力角度改进Transformer

文章预览

前言   SLAB-Swin-S在ImageNet1k数据集上获得了83.6%的分类精度，相对Flatten-Swin-S在精度提升0.1%的情况下，时延减少了2.4ms。  Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 本文目录 1 SLAB：使用简化线性注意力机制和渐进重参数化 BN 的视觉Transformer (来自北京华为诺亚方舟实验室) 1 SLAB 论文解读 1.1 背景：提升 Transformer 架构的效率 1.2 渐进重参数化 BatchNorm 1.3 简化的线性注意力机制 1.4 实验结果 太长不看版 Transformer 已经成为自然语言处理和计算机视觉任务的基础架构。然而，Transformer 架构的高计算成本使得其部署在资源受限的设备上是一件具有挑战性的事。本文研究了高效 Transformer 的计算瓶颈，即 Normalization 层和 Attention 模块。LayerNorm 通常用于 Transformer 架构 ………………………………