ICML'24｜LayerNorm OUT！华为诺亚提出SLAB：渐进重参数化 BN 的视觉Transformer

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   SLAB-Swin-S 在ImageNet1k数据集上获得了83.6%的分类精度，相对 Flatten-Swin-S在 精度提升0.1%的情况下，时延减少了2.4ms。   >> 本周六 15 :00  极市直播特别栏目- CVPR2024论文分享会，7位中稿 工作 作者分享， 多篇ora l 和hightlig ht工作 ！ 点击预约直播， 欢迎大家一起来交流学习 ！ 本文目录 1 SLAB：使用简化线性注意力机制和渐进重参数化 BN 的视觉Transformer (来自北京华为诺亚方舟实验室) 1 SLAB 论文解读 1.1 背景：提升 Transformer 架构的效率 1.2 渐进重参数化 BatchNorm 1.3 简化的线性注意力机制 1.4 实验结果 太长不看版 Transformer 已经成为自然语言处理和计算机视觉任务的基础架构。然而，Transformer 架构的高计算成本使得其部署在资源受限的设备上是一件具有挑战性的事。本文研究了高效 Transf ………………………………