文章预览
©作者 | 张金涛 单位 | 清华大学 大模型中,线性层的低比特量化(例如 INT8, INT4)已经逐步落地;对于注意力模块,目前几乎各个模型都还在用高精度(例如 FP16 或 FP32)的注意力运算进行训练和推理。然而,随着大型模型需要处理的序列长度不断增加,Attention(注意力运算)的时间开销逐渐成为网络优化的主要瓶颈。 为了提高注意力运算的效率,清华大学陈键飞团队提出了 8Bit 的 Attention(SageAttention)。实现了 2 倍以及 2.7 倍相比于 FlashAttention2 和 xformers 的 即插即用的推理加速 ,且在视频、图像、文本生成等大模型上 均没有端到端的精度损失 。 论文标题: SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration 文章链接: https://arxiv.org/abs/2410.02367 代码链接: https://github.com/thu-ml/SageAttention 即插即用举例 SageAttention 可以一行代码轻松替
………………………………