ICML 2024｜华为诺亚提出SLAB：从BN和注意力角度改进Transformer

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自：极市平台 | 作者：科技猛兽 导读   SLAB-Swin-S 在ImageNet1k数据集上获得了83.6%的分类精度，相对 Flatten-Swin-S在 精度提升0.1%的情况下，时延减少了2.4ms。   本文目录 1 SLAB：使用简化线性注意力机制和渐进重参数化 BN 的视觉Transformer (来自北京华为诺亚方舟实验室) 1 SLAB 论文解读 1.1 背景：提升 Transformer 架构的效率 1.2 渐进重参数化 BatchNorm 1.3 简化的线性注意力机制 1.4 实验结果 太长不看版 Transformer 已经成为自然语言处理和计算机视觉任务的基础架 ………………………………