小波-KAN来了

文章预览

KAN：AI4Science 全村的希望 中，笔者极简介绍了KAN (Kolmogorov-Arnold Networks): 用参数样条函数替代了参数+激活函数的组合     KA 定理的前提决定了KAN适用的场景：有界连续问题，或许KAN天然不适合NLP，而且 KAN还缺类似 attention注意力 和 normalization归一化的机制。   柏拉图表征与大模型内在 文第五部分“获取表征的方式”，笔者总结过：   核函数与参数化方式的选择不仅影响神经网络的最终表达能力（逼近能力），还决定了训练收敛的速度，进而决定了模型的成本与效率。   逼近能力与模型的成本与效率， 都是 KAN 被质疑的点。   质疑KAN的那位George 院士，是著名的PINN 的发明者，KAN与其思想其实很类似。PINN在小波基函数加持下，还上过Nature。           小波是什么，为什么这么神奇？    不同于大家学过的正余弦波，mathworks定义小波是一种有效限 ………………………………