论文解读 | ICML2024：BiLLM：推进大型语言模型后训练量化的极限

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 黄炜 香港大学博士生 概述 BiLLM：推进大型语言模型后训练量化的极限 预训练的大型语言模型（LLMs）在语言处理方面表现出色，但对内存和计算资源的需求非常高。二值化作为一种强大的压缩技术，可以将模型权重极大地减少到仅1位，从而降低昂贵的计算和内存需求。然而，现有的量化技术在超低位宽下难以保持LLM的性能。为应对这一挑战，我们提出了BiLLM，这是一种针对预训练LLM的革命性1位后训练量化方案。基于LLM的权重分布，BiLLM首先识别并结构性地选择显著权重，通过有效的二值残差近似策略最小化压缩损失。此外，考虑到非显著权重的钟形分布，我们提出了一种优化分割搜索方法，以精确地对其进行分组和二值化。BiLLM首次在各种LLM家族和评估指标上，以仅1.08位权重实现了高精度推 ………………………………