「乘法变加法」！MIT清华校友全新方法优化Transformer：Addition is All You Need

文章预览

LLM能耗的疯狂增长，甚至已经引起了联合国的注意，成为了不容小觑的能源消耗者。 据统计，2023年初ChatGPT服务的平均用电量为每天564兆瓦时，相当于18000个美国家庭每天的总用电量。 谷歌的情况更加严峻。最坏的情况下，谷歌AI服务消耗的电力可能和一整个爱尔兰相当，约为每年29.3 TWh。 要在提升推理速度的同时降低大模型的能耗，减少神经网络所需的计算量才是关键。 而LLM等大规模神经网络，大部分计算量正是消耗在浮点级精度的矩阵乘法上。 从线性注意力机制到量化，大多数Transformer的优化都离不开对于乘法效率的大幅提高。要么减少运算操作次数，要么减少操作数的位数。 但如果从乘法运算这个更加底层的逻辑出发，两位华人研究者提出，可以用一个整数加法器以高精度近似进行浮点数乘法运算，即L-Mul乘法算法。 论文地址：https://arxiv.o ………………………………