最高降低大模型能耗95%，科学家提出优化Transformer方法，大模型有望兼具低能耗和高性能

文章预览

近期，美国麻省理工学院研究科学家、初创公司 BitEnergy AI 创始人 罗鸿胤 和合作者提出了一种名为线性复杂度乘法（L-Mul，linear-complexity multiplication）的算法。 L-Mul 的最大特点是用整数加法运算逼近浮点数乘法，通过改变数值计算的方式 让大模型的计算精度大幅度降低。 用这种“偷懒式计算”可以大幅减少模型的运算量，最高可降低 95% 能耗。 此外，该算法也适用无需极高精度计算的场景。 其潜在的商业价值在于： 对于数据中心而言，显著的能耗减少可以让数据中心在相同的能耗下支持更大算力。 值得一提的是，L-Mul 还可用于具身智能和边缘计算等需要 AI 芯片的场景，比如应用到机器人、笔记本电脑和手机中。 另一方面， L-Mul 为简化设计芯片带来新的思路。 它通过移除浮点数乘法器，让芯片的设计和制造更加简单，帮助芯片制造厂商提高 ………………………………