量化挑战下的创新，LayerNorm 计算方法提升 LLMs推理性能 ！

文章预览

前言   为了在计算和存储有限的情况下有效且准确地处理LLMs，已经探索了各种方法。 在这些方法中，各种量化技术已成为社区的主要焦点，作为减少计算、通信和存储需求的一种手段。 降低精度自然带来许多挑战，因为可用值表示的范围有限。 在处理硬件上的流行Transformer模型时，一个主要问题是计算LayerNorm，因为累积 方差 需要比硬件允许的更宽的动态范围。 在这篇文章中，作者解决了这个问题，并提出了一种计算高效的扩展技术，可以轻松应用于推理过程中的Transformer模型。 作者的方法提出了一种基于立即前线性层静态权重的LayerNorm输入的简单扩展方法。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 Introduction 最近，基于Transformer的预训练语言 ………………………………