IntactKV：保持关键词元无损的大语言模型量化方法

主要观点总结

本文介绍了一种针对大语言模型量化的新方法IntactKV，它可以有效提升GPTQ、AWQ、QuaRot等现有主流量化方法的效果。IntactKV通过保证量化模型中关键词元表征无损来降低模型量化误差，实现简单并且不会带来额外的推理开销。文章还介绍了IntactKV的原理、实现方法、实验验证以及权重和激活值量化等方面的内容。

关键观点总结

关键观点1: IntactKV作为一种新的量化方法，可以有效提升现有量化模型精度。

IntactKV通过预先缓存关键词元的无损KV cache来保证量化模型中关键词元表征无损，从而降低模型量化误差。

关键观点2: IntactKV的实现与当前主流的LLM量化方法正交，意味着它可以与其他量化方法结合使用，进一步提升模型精度。

IntactKV通过缓存的无损KV cache还可以作为模型的额外参数进行校准，进一步弥补量化误差。

关键观点3: 实验验证显示，IntactKV在权重量化、KV Cache量化和权重激活值量化等方面都取得了显著的效果提升。

无论是在PPL任务、MMLU任务、QA任务还是MT-bench任务中，IntactKV都能有效提升量化模型精度和生成质量。

文章预览

【点击】 加入大模型技术交流群 原文：https://zhuanlan.zhihu.com/p/699818141 本文介绍我们针对大语言模型量化的工作 IntactKV，可以作为插件有效提升GPTQ、AWQ、QuaRot等现有主流量化方法效果。 论文作者来自清华大学、华为诺亚、中科院自动化所和香港中文大学。 论文代码已经开源，欢迎大家使用！ 论文链接： https://arxiv.org/abs/2403.01241 开源代码：https://github.com/ruikangliu/IntactKV 大语言模型（LLM）在自然语言处理的各项任务上都取得了出色的表现，但其庞大的参数量也给实际部署带来了新的挑战。模型量化是一种常用的模型压缩方法，可以通过将模型权重和激活值压缩到低比特来有效降低模型推理时的算力和内存开销，然而量化往往伴随着模型的精度损失。对此，我们提出了一种新的量化方法IntactKV。我们发现LLM中存在关键词元（pivot tokens），这些关键词元 ………………………………