Transformer升级之路：RoPE的底数设计原则

文章预览

来源：PaperWeekly 本文 约3200字 ，建议阅读 6 分钟 本文简单介绍了论文《Base of RoPE Bounds Context Length》。 我们知道，在 RoPE 中频率的计算公式为  ，底数   默认值为 10000。目前 Long Context 的主流做法之一是，先在   上用短文本预训练，然后调大   并在长文本微调，其出发点是 《Transformer升级之路：RoPE是一种β进制编码》 里介绍的 NTK-RoPE，它本身有较好长度外推性，换用更大的   再微调相比不加改动的微调，起始损失更小，收敛也更快。 该过程给人的感觉是：调大  完全是因为“先短后长”的训练策略，如果一直都用长文本训练似乎就没必要调大   了？ 近期的论文《Base of RoPE Bounds Context Length》[1] 试图回答这个问题，它基于一个期望性质研究了   的下界，由此指出更大的训练长度本身就应该选择更大的底数，与训练策略无关。整个分析思路 ………………………………