能耗直降95% | 只因“加法竟能代替乘法”，效果却媲美FP8，大模型加速迈入“快车道”！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “   现代人工智能系统是重要的能源消耗者。由于神经网络推理需要大规模的计算，基于这些模型的人工智能应用正在消耗大量的电力资源。据报道， 2023年初， ChatG PT服务的平均用电量为每天564兆瓦时，相当于美国18000个家庭的每日总用电量。 据估计，在最坏的情况下，谷歌的人工智能服务可能会消耗与爱尔兰一样多的电力（每年29.3 TWh）。在基于transformer的LLM中，注意力机制是限制计算效率的主要瓶颈。给定N个标记的输入上下文，标准注意力机制计算的复杂性为O（N2），涉及乘以高维张量。除了注意，还有大量的元素乘法和线性变换计算。 在 这项工作中，作者发现浮点乘法器可以用一个整数加法器高精度地近似，提出了一个线性复杂度乘法（L-Mul）算法，该算法通 ………………………………