ICML 2024 | 高效架构SLAB：Attention简化，无需LayerNorm，视觉/语言任务精度无损效率提升

文章预览

Transformer已经成为了语言和视觉任务中常用的基础架构之一。然而，由于Transformer结构高计算开销的影响，其在端侧等资源受限设备中的应用依然面临很大的挑战。我们对Transformer结构中的标准化层和注意力机制两个模块的优化策略进行了深入探索，从而构建一个高效的Transformer结构。其中，LayerNorm作为Transformer结构中常用的标准化层，但模型推理时仍需计算数据的统计值，导致了推理的低效。 我们提出了渐进式的LayerNorm替换策略，并对标准的BatchNorm进行了改进以更好地取代LayerNorm层。同时，我们采用了一种简单高效的线性注意力模块（Simplified Linear Attention），来获得更强的模型性能。我们将这两种策略的结合简称为SLAB。我们在图像分类、目标检测以及语言任务上都进行了大量的实验，获得了很好的效果。例如，我们的SLAB-Swin-S在ImageNet1k数据集上获 ………………………………