重温被Mamba带火的SSM：HiPPO的一些遗留问题

主要观点总结

本文是对HiPPO逼近框架的进一步探讨，包括HiPPO矩阵的离散化、LegS型ODE的优良性质，以及傅立叶基在HiPPO中的应用。文章旨在提供更全面的理解HiPPO的方法。

关键观点总结

关键观点1: HiPPO矩阵的离散化

介绍如何对HiPPO矩阵进行离散化，包括LegT和LegS型ODE的离散化方法。

关键观点2: LegS型ODE的优良性质

详细阐述LegS型ODE的时间尺度不变性、长尾衰减和计算高效等优良性质。

关键观点3: 傅立叶基在HiPPO中的应用

探讨傅立叶基在HiPPO框架下的应用，包括与LegS型ODE的对比和差异。

关键观点4: 文章小结

总结全文内容，概括文章的主要观点和结论。

文章预览

©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 书接上文，在上一篇文章 《重温被Mamba带火的SSM：线性系统和HiPPO矩阵》 中，我们详细讨论了 HiPPO 逼近框架其 HiPPO 矩阵的推导，其原理是通过正交函数基来动态地逼近一个实时更新 的函数，其投影系数的动力学正好是一个线性系统，而如果以正交多项式为基，那么线性系统的核心矩阵我们可以解析地求解出来，该矩阵就称为 HiPPO 矩阵。 当然，上一篇文章侧重于 HiPPO 矩阵的推导，并没有对它的性质做进一步分析，此外诸如“如何离散化以应用于实际数据”、“除了多项式基外其他基是否也可以解析求解”等问题也没有详细讨论到。接下来我们将补充探讨相关问题。 离散格式 假设读者已经阅读并理解上一篇文章的内容，那么这里我们就不再进行过多的铺垫。在上一篇文 ………………………………