FP8量化解读，8bit下部署最优方案？

文章预览

以下 文 章来源于微信公众号：GiantPandaCV 作者：液态黑洞 链接：https://mp.weixin.qq.com/s/WcFG7mmsEwrL0g3dSJTC5A 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 尽管大部分模型在int8量化下基本可以保证精度，但是面对权重激活分布特殊的模型，它们在int8量化后都严重掉点。因此，本文为大家解读一下高通对FP8量化的理解，希望对大家有所帮助。 模型量化一直是模型部署阶段一个重要的过程。从学术上看，很多通用模型在常规8bit量化下的指标已经刷爆了，我们之前介绍过一个模型量化的综述性的系列，其中的论文在8bit下的结果大部分看起来都游刃有余，因此越来越多的论文都已经迈入到4bit阶段，考虑int4在通用模型上的量化。面对不可避免的精度下降，一般会使用类似brecq、LSQ这样的权重或量化参数的调整方案。在工业上，尽管大部分模型 ………………………………