ICML 2024｜SLAB：华为开源，通过线性注意力和PRepBN提升Transformer效率

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文提出了一种渐进策略，通过使用超参数控制两种归一化层的比例，逐步将LayerNorm替换为BatchNorm。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文地址 ： https://arxiv.org/abs/2405.11582 论文代码 ： https://github.com/xinghaochen/SLAB Introduction transformer 架构最初引入用于自然语言处理任务，迅速成为语言模型领域的杰出模型。随着 Vision Transformer ( ViT )的引入，其影响力显著扩展，展示了基于 transformer 的架构的有效性和多样性。这些架构在与卷积神经网络（ CNNs ）相比，在各种视觉任务中表现出了竞争力的性能基准。由于其强大的性能， transformer 已成为深度学习中的主流架构。然而， transformer 架构的计算需求构成了一个重大挑战，这主要是由于其 ………………………………