KAN 会引起大模型的范式转变吗？

文章预览

作者 | 李维   高佳 KAN 网络算法，如同在 AI 技术圈投下了一枚重磅炸弹，让 AI 界震荡不减。 发布一个月的时间内，FastKAN、 FasterKAN kansformers等基于 KAN 的扩展模型 层出不穷。 第一作者华人科学家刘子鸣提出新的神经网络结构—— KAN（Kolmogorov-Arnold 网络） ，这一由数学启发、媲美“Transformer”进阶版的神经网络原型，以其实验表现的优异性能，让业内侧目。 它会成为深度学习的下一个范式吗？ 如所众知，多层感知器（MLP）是深层神经网络的核。如果核上出现变革，说它预示着范式转变，听上去也是 make sense 的。 KAN 就是这种“核变”，它将可学习的激活函数从神经元移到了神经网络的边（权重）上，这样一个创新改变据实验带来了巨大效应——更高的准确性、更少的参数量、更快的收敛速度和更好的可解释性。这里的每一条，都足以令人兴奋， ………………………………