FP8量化解读--8bit下最优方案？（一）

文章预览

作者丨液态黑洞 来源丨https://zhuanlan.zhihu.com/p/565021881 编辑丨GiantPandaCV 模型量化一直是模型部署阶段一个重要的过程。从学术上看，很多通用模型在常规8bit量化下的指标已经刷爆了，我们之前介绍过一个模型量化的综述性的系列，其中的论文在8bit下的结果大部分看起来都游刃有余，因此越来越多的论文都已经迈入到4bit阶段，考虑int4在通用模型上的量化。面对不可避免的精度下降，一般会使用类似brecq、LSQ这样的权重或量化参数的调整方案。在工业上，尽管大部分模型在int8量化下基本可以保证精度，但是还会有很多对精度要求高，或者权重激活分布特殊的模型，它们在int8量化后都会掉点严重。 综上，目前在工业上的状态是int8勉强可用，甚至某些情况下还需要借助fp16等更高比特的配置，基本就更不会考虑了int4了。那么有没有一种方案的效果能介 ………………………………