大模型轻量化系列解读 (七)｜厦门大学纪荣嵘团队提出AffineQuant：LLM 的仿射变换量化

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   本文提出了一种名为AffineQuant的后训练量化（PTQ）方法，通过引入等价的仿射变换扩展了优化范围，显著降低了量化误差，尤其在低比特量化和小模型场景下表现出色。该方法通过渐进式掩码优化确保变换矩阵的可逆性，并在多种大型语言模型（LLMs）上取得了最先进的性能。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 LLM 后训练量化过程的一个有效改进方案。 在大语言模型的量化技术中，后训练量化 (Post-Training Quantization, PTQ) 因其在压缩效率高，成本效益明显而研究很多。现有的 LLM 后训练量化方法限制了优化的范围，以缩放预量化权值和后量化权值之间的转换。这种约束导致量化后出现重大错误，尤其是在低比特量化配置中。 本文提出在 PTQ (AffineQuant ………………………………