KAN结合Transformer，真有团队搞出了解决扩展缺陷的KAT

文章预览

Transformer 是现代深度学习的基石。传统上，Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。  前段时间，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且，它能以非常少的参数量胜过以更大参数量运行的 MLP。 KAN的发布，引起了AI社区大量的关注与讨论，同时也伴随很大的争议。 而此类研究，又有了新的进展。 最近，来自新加坡国立大学的研究者提出了 Kolmogorov–Arnold Transformer（KAT），用 Kolmogorov-Arnold Network（KAN）层取代 MLP 层，以增强模型的表达能力和性能。 论文标题：Kolmogorov–Arnold Transformer 论文地址：https://arxiv.org/pdf/2409.10594 项目地址：https://github.com/Adamdad/kat KAN 原论文第一作者 Ziming Liu 也转发点赞了这项新研究。 将 KAN 集成到 Transformer 中并不是一件容易的事， ………………………………