StarNet：关于 Element-wise Multiplication 的高性能解释研究 | CVPR 2024

文章预览

前言   论文揭示了star operation（元素乘法）在无需加宽网络下，将输入映射到高维非线性特征空间的能力。基于此提出了StarNet，在紧凑的网络结构和较低的能耗下展示了令人印象深刻的性能和低延迟。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 论文地址：https://arxiv.org/abs/2403.19967 论文代码：https://github.com/ma-xu/Rewrite-the-Stars 作者的介绍：神经网络中，element-wise mutiplication为什么效果好？CVPR’24 Introduction   最近，通过元素乘法融合不同的 子空间 特征的学习范式越来越受到关注，论文将这种范例称为 star operation （由于元素乘法符号类似于星形）。   为了便于说明，论文构建了一个用于图像分类的 demo block ，如图 1 左侧所示。通过在 stem 层后堆叠多个 ………………………………