LLM领域首次实现量化推理自由，效果和性能双SOTA！字节开源ABQ-LLM

主要观点总结

本文介绍了字节智能创作团队开发的ABQ-LLM算法，该算法针对大型语言模型（LLM）的量化推理进行优化。文章阐述了现有的LLM量化方法的挑战和局限性，并提出了ABQ-LLM的解决方案。该算法通过任意位量化权重和激活，使用二进制表示执行矩阵计算，具有两大优势：能在不损失精度的情况下实现任意位量化矩阵计算，并绕过INT4/INT8单元的限制，利用二值化矩阵乘单元实现高效计算和高吞吐量。为了解决低位宽时的性能下降问题，采用了两种增强技术：transformer block的分布校正方法和位平衡策略。实验结果表明，ABQ-LLM在各种量化配置下都表现出卓越的效果和性能。此外，还将算法集成到fastertransformer框架中，实现了端到端的性能提升。

关键观点总结

关键观点1: 解决的问题和挑战

介绍了现有的大型语言模型（LLM）量化方法在推理过程中遇到的主要问题，包括计算需求和内存需求的日益增长，以及主流GPU对整数运算的限制等。

关键观点2: ABQ-LLM的主要技术和创新点

详细阐述了ABQ-LLM的两大优势：任意位量化权重和激活，以及利用二值化矩阵乘单元的高效计算。同时介绍了为解决低位宽性能下降问题采用的两种增强技术。

关键观点3: 实验和性能评估

通过大量的实验评估了ABQ-LLM的性能和效果，与其他主流的LLM量化方法进行了比较，并展示了其显著的优势。

文章预览

字节开源的 ABQ-LLM （项目地址：https://github.com/bytedance/ABQ-LLM）是面向 AIGC 领域的算法系统协同优化工作，旨在解决 LLM 量化中存在的两大主要挑战： 低位量化致使的效果严重降低； 主流 GPU 对整数矩阵乘支持有限所引发的计算效率低下问题。 在推理引擎层面，ABQ-LLM 基于二值化矩阵乘(BTC) 等价重构了任意精度组合的矩阵乘，从而突破了 INT4/INT8 计算单元的限制，开创性地实现了任意比特量化组合的直接加速，结合深度工程优化，实现了 decoding 阶段对 cutlass/cublas 加速库的大幅性能领先。在算法方面，ABQ-LLM 运用了基于 transformer block 的分布纠正和低比特位平衡策略，有效提升低位量化效果。在各类量化配置下均达成了 SOTA 的效果，综合模型效果优于 OmniQuant、AffineQuant 等前期工作，同时工程实现大幅超越 SmoothQuant，端到端综合性能超越 SmoothQuant 实现了 ………………………………