Llama改进之——RoPE旋转位置编码

文章预览

来源：投稿  作者：175 编辑：学姐 unset unset 引言 unset unset 旋转位置编码(Rotary Position Embedding, RoPE)将绝对相对位置依赖纳入自注意力机制中，以增强Transformer架构的性能。目前很火的大模型LLaMA、QWen等都应用了旋转位置编码。 之前在ROFORMER中对旋转位置编码的原始论文进行了解析，重点推导了旋转位置编码的公式，本文侧重实现，同时尽量简化数学上的推理，详细推理可见最后的参考文章。 unset unset 复数与极坐标 unset unset 复数由两个部分组成：实部(real part)和虚部(imaginary part)。实部就是一个普通的数字，可以是零、正数或负数。虚部是另一个实数与i 相乘。比如2+3i是一个复数，其中2是实部；3i是虚部。下面这些数字都是复数： 可以看到复数是实数的扩展，包含了实数，比如2可以看成是虚部为0。 通常实数放前面，然后是i。但当i与三角函数(sin,cos) ………………………………