CVPR'24 | ShiftAddAug：基于乘法算子训练的最新无乘法网络方案

文章预览

不包含乘法的运算符，如移位和加法，因其与硬件的兼容性而日益受到重视。然而，采用这些运算符的神经网络（ NNs ）通常表现出比具有相同结构的传统 NNs 更低的准确性。 ShiftAddAug 利用成本较高的乘法来增强高效但功能较弱的无乘法运算符，从而在没有任何推理开销的情况下提高性能。将一个 ShiftAdd 小型神经网络嵌入到一个大型的乘法模型中，并鼓励其作为子模型进行训练以获得额外的监督。为了解决混合运算符之间的权重差异问题，论文提出了一种新的权重共享方法。此外，使用了一种新颖的两阶段神经架构搜索，以获得对较小但更强大的无乘法小型神经网络的更好增强效果。通过在图像分类和语义分割方面的实验验证了 ShiftAddAug 的优越性，始终带来显著的改善。值得注意的是，与其直接训练的其它网络相比，它在 CIFAR100 上的准确性提高 ………………………………