主要观点总结
本文介绍了对RoPE（位置编码）的可视化理解，包括原始Transformer的位置编码、RoPE的优势、如何通过旋转角度理解位置编码，以及NTK-RoPE的设计原理和运作流程。文章通过可视化的方式，让读者更直观地理解这些概念。
关键观点总结
关键观点1: 原始Transformer的位置编码介绍
包括位置编码的设计初衷、存在的问题以及为何需要改进。
关键观点2: RoPE的优势
通过对比原始位置编码，介绍RoPE如何更好地处理位置信息，包括其如何解决原始位置编码的问题。
关键观点3: 旋转角度理解位置编码
通过引入旋转角度的概念，可视化解释位置编码的设计原理，包括二维空间和高维空间下的位置编码。
关键观点4: NTK-RoPE的设计原理和运作流程
介绍NTK-RoPE如何通过结合圆盘训练的视角，实现位置编码的进一步优化，包括其如何平衡已训练和新学习的位置信息。
文章预览
写在前面：前段日子公众号发过 从圆盘旋转视角理解RoPE的文章 ，发出后反响比较好。有读者在后台问，是否可以延续圆盘旋转的视角，重新理解NTK-RoPE呢？因为直接从数学推导的角度看实在太抽象了，不能想象到相比于RoPE，它到底是怎样起到（特别是在长文本推理和continue pretrain）上的改进作用的。所以这篇文章的第三部分，我延续了圆盘旋转的逻辑，更加可视化地解读NTK-RoPE，并辅以直观的数学推导。除此以外的部分和上一篇文章保持一致～（都怪公众号不能原文修改） 以下是正文： 大家好，今天的这篇文章，我想避开复数的推导，从一些全新的、更好玩、更可视化的角度，来探究RoPE的原理和各种性质。 这里所说的“可视化”，不仅仅是大家熟悉的“空间向量的旋转”， 而是： 具体能让你在调控RoPE的超参时，可以在脑海里快速绘制出一副
………………………………
