Llama改进之——均方根层归一化RMSNorm

文章预览

来源：投稿  作者：175 编辑：学姐 unset unset 引言 unset unset 在学习完GPT2之后，从本文开始进入Llama模型系列。 本文介绍Llama模型的改进之RMSNorm(均方根层归一化)。它是由Root Mean Square Layer Normalization论文提出来的，可以参阅其论文笔记1。 unset unset LayerNorm unset unset 层归一化(LayerNorm)对Transformer等模型来说非常重要，它可以帮助稳定训练并提升模型收敛性。LayerNorm针对一个样本所有特征计算均值和方差，然后使用这些来对样本进行归一化： 这里 表示某个时间步LN层的输入向量表示，向量维度为H；h实LN层的输出；g,b实两个可学习的参数。 为什么层归一化有用？一些解释如下： 减少内部协变量偏移（Internal Covariate Shift）：内部协变量偏移是指在深度神经网络的训练过程中，每一层输入的分布会发生变化，导致网络的训练变得困难。层归一化通过对每一层 ………………………………