重温状态空间模型SSM：有理生成函数的新视角

文章预览

©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 在前三篇文章中，我们较为详细地讨论了 HiPPO 和 S4 的大部分数学细节。那么，对于接下来的第四篇文章，大家预期我们会讨论什么工作呢？S5、Mamba 乃至 Mamba2？都不是。 本系列文章主要关心 SSM 的数学基础，旨在了解 SSM 的同时也补充自己的数学能力。 而在上一篇文章我们简单提过 S5 和 Mamba，S5 是 S4 的简化版，相比 S4 基本上没有引入新的数学技巧，而 Mamba 系列虽然表现优异，但它已经将 A 简化为对角矩阵，所用到的数学技巧就更少了，它更多的是体现了工程方面的能力。 这篇文章我们来学习一篇暂时还声名不显的新工作《State-Free Inference of State-Space Models: The Transfer Function Approach》 [1] （简称 RFT），它提出了一个新方案，将 SSM 的训练、推理乃至参数化，都彻底转到了 ………………………………