I-LLM：首次实现了LLM全整形量化，精度逼近浮点，超过Smooth/Omini/AffineQuant

文章预览

前言   本文 是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Quant等SOTA方法。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者： Austin 来 源：AI生成未来 链接：https://zhuanlan.zhihu.com/p/701393483 仅用于学术分享，若侵权请联系删除 宣传一下我们的工作I-LLM，（据我们所知）这是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Quant等SOTA方法。 https://arxiv.org/abs/2405.17849 单位：后摩智能、南京大学、东南大学 Abstract PTQ能够有效加速LLMs的推理。然而，现有针对LLM的PTQ方案在推理过程中仍然需要相当多的浮点操作，例如额外的量化和反量化操作，以及复杂的 非线性算子 （如RMSNorm和Softmax）。这些约束 ………………………………