I-LLM：首次实现了LLM全整形量化，精度逼近浮点，超过Smooth/Omini/AffineQuant

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Austin@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/701393483 编辑丨极市平台 极市导读   这项工作首次在LLMs上实现了全整形量化，为LLMs的高效部署和推理开辟了新的途径，尤其是边缘设备上。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 宣传一下我们的工作I-LLM，（据我们所知）这是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Quant等SOTA方法。 论文链接： https://arxiv.org/abs/2405.17849 单位：后摩智能、南京大学、东南大学 Abstract PTQ能够有效加速LLMs的推理。然而，现有针对LLM的PTQ方案在推理过程中仍然需要相当多的浮点操作，例如额外的量化和反量化操作，以及复杂的非线性算子（如RMSNorm和Softmax）。这些约束阻碍了LLMs在边缘和云端设备上的部署。我们认为LLMs integer-only量 ………………………………