专栏名称: 极市平台
极市平台是由深圳极视角推出的专业的视觉算法开发与分发平台,为视觉开发者提供多领域实景训练数据库等开发工具和规模化销售渠道。本公众号将会分享视觉相关的技术资讯,行业动态,在线分享信息,线下活动等。 网站: http://cvmart.net/
今天看啥  ›  专栏  ›  极市平台

ICML'24|LayerNorm OUT!华为诺亚提出SLAB:渐进重参数化 BN 的视觉Transformer

极市平台  · 公众号  ·  · 2024-06-13 22:00
    

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   SLAB-Swin-S 在ImageNet1k数据集上获得了83.6%的分类精度,相对 Flatten-Swin-S在 精度提升0.1%的情况下,时延减少了2.4ms。   >> 本周六 15 :00  极市直播特别栏目- CVPR2024论文分享会,7位中稿 工作 作者分享, 多篇ora l 和hightlig ht工作 ! 点击预约直播, 欢迎大家一起来交流学习 ! 本文目录 1 SLAB:使用简化线性注意力机制和渐进重参数化 BN 的视觉Transformer (来自北京华为诺亚方舟实验室) 1 SLAB 论文解读 1.1 背景:提升 Transformer 架构的效率 1.2 渐进重参数化 BatchNorm 1.3 简化的线性注意力机制 1.4 实验结果 太长不看版 Transformer 已经成为自然语言处理和计算机视觉任务的基础架构。然而,Transformer 架构的高计算成本使得其部署在资源受限的设备上是一件具有挑战性的事。本文研究了高效 Transf ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览