量化挑战下的创新，LayerNorm 计算方法提升 LLMs推理性能 ！

文章预览

随着大型语言模型（LLMs）参数的不断增加，数百亿甚至数千亿参数，对专用硬件加速器制造商产生了巨大压力，使后者的创新设计成为人工智能行业中发展最快的领域之一。 为了在计算和存储有限的情况下有效且准确地处理LLMs，已经探索了各种方法。在这些方法中，各种量化技术已成为社区的主要焦点，作为减少计算、通信和存储需求的一种手段。降低精度自然带来许多挑战，因为可用值表示的范围有限。 在处理硬件上的流行Transformer模型时，一个主要问题是计算LayerNorm，因为累积方差需要比硬件允许的更宽的动态范围。在这篇文章中，作者解决了这个问题，并提出了一种计算高效的扩展技术，可以轻松应用于推理过程中的Transformer模型。 作者的方法提出了一种基于立即前线性层静态权重的LayerNorm输入的简单扩展方法。 扩展因子在离线计算，仅 ………………………………