重新思考移动模块以实现基于注意力的高效模型

文章预览

前言   本文从统一的角度重新思考高效 IRB 和 Transformer 有效组件的轻量级基础设施，将基于 CNN 的 IRB 扩展到基于注意力的模型，并抽象出一个单残差元移动块 (MMB) 以进行轻量级模型设计。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 原文：Rethinking Mobile Block for Efficient Attention-based Models 作者：Jiangning Zhang 1,2 ，Xiangtai Li 3 ，Jian Li 1 ， Liang Liu 1 ， Zhucun Xue 4 ，Boshen Zhang 1 ，Zhengkai Jiang 1 ，Tianxin Huang 2 ，Yabiao Wang 1* ，Chengjie Wang 1* 01. 摘要     本文重点关注开发现代、高效、轻量级的模型来进行密集预测，同时权衡参数、FLOP 和性能。反向残差块（IRB）作为轻量级 CNN 的基础设施，但基于注意力的研究尚未认识到对应的部分。遵循简单但有效的设计标准，推 ………………………………