大模型轻量化解读系列 (五)：QuaRot：基于 Rotation 的 4-bit LLM 量化

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   4-bit 量化 LLaMA2-70B 模型的 WikiText-2 困惑度损失最多为 0.47，并保留 99% 的 Zero-Shot 性能。QuaRot 可以使用 Round-To-Nearest (RTN) 量化提供无损 6-bit 和 8-bit LLaMA-2 模型，且无需任何校准数据。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 采用旋转矩阵解决 4-bit LLM 量化困难。 量化方案： Weight： Per-channel Symmetric， Activation： Per-token Symmetric QuaRot 是一种基于旋转 (Rotation) 的新量化方案，它能够以 4-bit 端到端量化 LLM，包括所有的 weight、activation 和 KV cache。QuaRot 通过旋转的方式，在不改变输出的情况下从隐藏状态中去除异常值，进而使量化更容易。这种模式应用于 LLM 的 hidden state，FFN 的激活值，attention 和 KV cache。QuaRot 量化之后，所有的矩阵乘法都使用 4-bit 执行，没 ………………………………