Llama改进之——SwiGLU激活函数

文章预览

来源：投稿  作者：175 编辑：学姐 unset unset 引言 unset unset 今天介绍LLAMA模型引入的关于激活函数的改进—— SwiGLU ，该激活函数取得了不错的效果，得到了广泛地应用。 SwiGLU是GLU的一种变体，其中包含了GLU和Swish激活函数。 unset unset GLU unset unset GLU(Gated Linear Units,门控线性单元)引入了两个不同的线性层，其中一个首先经过sigmoid函数，其结果将和另一个线性层的输出进行逐元素相乘作为最终的输出： 这里W,V以及b,c分别是这两个线性层的参数； 作为门控，控制xV+c的输出。 这里使用 作为激活函数，修改改激活函数得到的变体通常能带来更好的性能表现，比如SwiGLU修改激活函数为Swish。我们来看下Swish激活函数。 unset unset Swish unset unset Swish激活函数的形式为： 其中 是Sigmoid函数； 是一个可学习的参数。 可以通过下面的代码画出Swish激活函数在不同参数 ………………………………