万字长文，算法模型低比特量化详解，全网最全梳理汇总！

文章预览

以下 文 章来源于： ZOMI酱@知乎 作者： ZOMI酱 链接：https://mp.weixin.qq.com/s/i3rmsFNLfnHF-WqMSl-TGA 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 模型量化是一种将浮点计算转成低比特计算的方法，可以有效的降低模型计算强度、参数大小和内存消耗，本文详细的介绍了关于低比特模型量化，推理和训练的内容，希望对大家有帮助。 随着深度学习的发展，神经网络被广泛应用于各种领域，模型性能的提高同时也引入了巨大的参数量和计算量。模型量化是一种将浮点计算转成低比特定点计算的技术，可以有效的降低模型计算强度、参数大小和内存消耗，但往往带来巨大的精度损失。尤其是在极低比特( < 4bit)、二值网络(1bit)、甚至将梯度进行量化时，带来的精度挑战更大。 这篇文章比较详细，所以下面这个图是这篇文章的一个整体目录。当 ………………………………