又快又准、即插即用！清华提出8比特量化Attention，两倍加速不掉点

文章预览

©作者 |  张金涛 单位 |  清华大学 大模型中，线性层的低比特量化（例如 INT8, INT4）已经逐步落地；对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。然而，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为网络优化的主要瓶颈。 为了提高注意力运算的效率，清华大学陈键飞团队提出了 8Bit 的 Attention（SageAttention）。实现了 2 倍以及 2.7 倍相比于 FlashAttention2 和 xformers 的 即插即用的推理加速 ，且在视频、图像、文本生成等大模型上 均没有端到端的精度损失 。 论文标题： SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration 文章链接： https://arxiv.org/abs/2410.02367 代码链接： https://github.com/thu-ml/SageAttention 即插即用举例 SageAttention 可以一行代码轻松替 ………………………………