大模型轻量化系列解读 (六)：SpinQuant：采用可学习旋转矩阵的 LLM 量化

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   SpinQuant 结合了可学习的旋转矩阵以实现最佳的网络精度，把 weight，activation 以及 KV cache 量化到 4-bit 的位宽。在 LLaMA-2 7B 模型上 SpinQuant 将与全精度模型在 Zero-Shot 推理任务的精度差距缩小到仅仅 2.9 point，超过了 LLM-QAT 19.1 point，比 SmoothQuant 高了 25 point。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 采用可学习旋转矩阵量化 4-bit LLM。 后训练量化 (Post-Training Quantization) 技术可以应用于 weight ， activation 以及 KV cache ，其可以用来大大减少大语言模型的显存 (Memory)，时延 (Latency) 和功耗 (Energy)，但是当存在有异常值 (Outlier) 时就会伴随较大的量化误差。 一种去除异常值的方案是：对 activation 和 weight 参数矩阵做 旋转矩阵 (Rotation) 。这个操作有助于量化。 ………………………………