4比特量化三倍加速不掉点！清华即插即用的SageAttention迎来升级

文章预览

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 论文共同第一作者张金涛、黄浩峰分别来自清华大学计算机系和交叉信息研究院，论文通讯作者陈键飞副教授及其他合作作者均来自清华大学计算机系。 大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。 此前，清华大学陈键飞团队提出的 8-Bit 的即插即用 Atten ………………………………