重温状态空间模型SSM：HiPPO的高效计算（S4）

文章预览

©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 前面我们用两篇文章 《重温SSM：线性系统和HiPPO矩阵》 和 《重温SSM：HiPPO的一些遗留问题》 介绍了 HiPPO 的思想和推导——通过正交函数基对持续更新的函数进行实时逼近，其拟合系数的动力学正好可以表示为一个线性 ODE 系统，并且对于特定的基底以及逼近方式，我们可以将线性系统的关键矩阵精确地算出来。 此外，我们还讨论了 HiPPO 的离散化和相关性质等问题，这些内容奠定了后续的SSM工作的理论基础。 接下来，我们将介绍 HiPPO 的后续应用篇《Efficiently Modeling Long Sequences with Structured State Spaces》 [1] （简称 S4），它利用 HiPPO 的推导结果作为序列建模的基本工具，并从新的视角探讨了高效的计算和训练方式，最后在不少长序列建模任务上验证了它的有效性，可谓 SSM 乃 ………………………………