「乘法变加法」！MIT清华校友全新方法优化Transformer：Addition is All You Need

文章预览

   新智元报道   编辑：乔杨 好困 【新智元导读】 Transformer计算，竟然直接优化到乘法运算了。MIT两位华人学者近期发表的一篇论文提出：Addition is All You Need，让LLM的能耗最高降低95%。 LLM能耗的疯狂增长，甚至已经引起了联合国的注意，成为了不容小觑的能源消耗者。 据统计，2023年初ChatGPT服务的平均用电量为每天564兆瓦时，相当于18000个美国家庭每天的总用电量。 谷歌的情况更加严峻。最坏的情况下，谷歌AI服务消耗的电力可能和一整个爱尔兰相当，约为每年29.3 TWh。 要在提升推理速度的同时降低大模型的能耗，减少神经网络所需的计算量才是关键。 而LLM等大规模神经网络，大部分计算量正是消耗在浮点级精度的矩阵乘法上。 从线性注意力机制到量化，大多数Transformer的优化都离不开对于乘法效率的大幅提高。要么减少运算操作次数，要么减 ………………………………