KAT：当KAN遇见Transformer

文章预览

前言   最近，来自新加坡国立大学的研究者提出了 Kolmogorov–Arnold Transformer（KAT），用 Kolmogorov-Arnold Network（KAN）层取代 MLP 层，以增强模型的表达能力和性能。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 机器之心 仅用于学术分享，若侵权请联系删除 论文标题：Kolmogorov–Arnold Transformer 论文地址：https://arxiv.org/pdf/2409.10594 项目地址：https://github.com/Adamdad/kat KAN 原论文第一作者 Ziming Liu 也转发点赞了这项新研究。 将 KAN 集成到 Transformer 中并不是一件容易的事，尤其是在扩展时。具体来说，该研究确定了三个关键挑战： (C1) 基函数。KAN 中使用的标准 B 样条（B-spline）函数并未针对现代硬件上的并行计算进行优化，导致推理速度较慢。 (C2) 参数和计 ………………………………