模型部署系列 | 卷积Backbone量化技巧集锦

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 前言   深度神经网络在广泛的任务中被证明是有效的。 然而，它们高昂的计算和内存成本使得在资源受限的设备上部署它们不切实际。 为了解决这个问题，已经提出了量化方案来减少内存占用并提高推理速度。 虽然已经提出了许多量化方法，但它们缺乏对其有效性的系统分析。 为了弥补这一空白，作者收集并改进现有的量化方法，并提出了PTQ量化的黄金准则。 作者在ImageNet数据集上使用2个流行的模型，ResNet50和MobileNetV2，评估了作者提出的方法的有效性。 按照作者的准则进行量化后，即使直接将模型量化为8位也不会导致准确性下降，无需额外的训练。 基于准则的量化感知训练可以进一步提高低位量化的准确性。 此外，作者还整合了一个多阶段微调策略，与现有 ………………………………