又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文标题：SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration 论文链接：https://arxiv.org/abs/2410.02367 开源代码：https://github.com/thu-ml/SageAttention 计算机视觉研究院专栏 Column of Computer Vision Institute 论文第一作者张金涛来自清华大学计算机系，论文通讯作者陈键飞副教授及其他合作作者均来自清华大学计算机系。 大模型中，线性层的低比特量化（例如 INT8, INT4）已经逐步落地；对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。然而，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为网络优化的主要瓶颈。 为了提高注意力运算 ………………………………