ICML 2024 | 无需LayerNorm简化Attention，精度无损推理效率大幅提升

文章预览

前言   本 文提出了渐进式的 LayerNorm 替换策略，并对标准的 BatchNorm 进行了改进以更好地取代 LayerNorm 层。同时，我们采用了一种简单高效的线性注意力模块（Simplified Linear Attention），来获得更强的模型性能，这两种策略的结合简称为 SLAB。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者： 陈醒濠 来源： PaperWeekly 仅用于学术分享，若侵权请联系删除 论文标题： SLAB: Efficient Transformers with Simplified Linear Attention and Progressive Re-parameterized Batch Normalization 论文链接： https://arxiv.org/abs/2405.11582 PyTorch链接： https://github.com/xinghaochen/SLAB Mindspore 代码 ： https://github.com/mindspore-lab/models/tree/master/research/huawei-noah/SLAB 方法 1.1 渐进式重参数化BatchNorm LN 作为 Transformer 中常 ………………………………