位置编码背后的理论解释——傅里叶特征 (Fourier Feature）与核回归

文章预览

↑ 点击 蓝字  关注极市平台 作者丨天才程序员周弈帆 来源丨天才程序员周弈帆 编辑丨极市平台 极市导读   本文 探讨了位置编码背后的理论基础，特别是傅里叶特征（Fourier Feature）与核回归（Kernel Regression）的联系，并解释了如何通过这些理论来增强神经网络对高频信息的学习能力。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 最近我在看位置编码最新技术时，看到了一个叫做 "NTK-aware" 的词。我想：「"NTK"是什么？Next ToKen （下一个词元）吗？为什么要用这么时髦的缩写？」看着看着，我才发现不对劲。原来，NTK 是神经网络理论里的一个概念，它从 kernel regression 的角度解释了神经网络的学习方法。基于 NTK 理论，有人解释了位置编码的理论原理并将其归纳为一种特殊的 Fourier Feature （傅里叶特征）。这么多专有名词一下就把我绕晕了， ………………………………