近似乘法对卷积神经网络的影响

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 编者荐语   文章分析了深度卷积神经网络(CNNs)在进行推理时近似乘法的影响。 作者丨橘子玉米@知乎 链接丨https://zhuanlan.zhihu.com/p/586050382 近似乘法可以减少底层电路的成本，以便在硬件加速器中更有效地执行CNN推理。该研究确定了卷积、全连接和批归一化层中的关键因素，允许更精确的CNN预测，尽管有来自近似乘法的错误。同样的因素也从算术上解释了为什么bfloat16乘法在cnn上表现良好。 实验在公认的网络架构下进行， 结果表明近似乘法器可以产生与FP32参考数据几乎一样准确的预测，而无需额外的训练 。例如，带有Mitch-w6乘法的ResNet和Inception-v4模型会产生Top-5错误与FP32参考数据相比，仅为0.2%。给出了Mitch-w6和bfloat16的简单成本比较，其中MAC操作比bfloat16算法节省高 ………………………………