力压Transformer，详解Mamba和状态空间模型（中）

文章预览

介绍Mamba和状态空间模型。 长按关注《AI科技论谈》 2.2 状态空间模型（SSM） 状态空间模型（SSM）是一种描述系统状态并预测其未来状态的模型，它能够基于当前状态和特定输入来推断接下来可能的状态变化。 在传统方法中，状态空间模型（SSM）在特定时间点 t 的操作流程如下： 映射输入：SSM首先将输入序列 x(t) 映射到潜在的状态表示 h(t) 。以迷宫为例，当你向左下方移动时，这一动作会被转化为与出口的距离以及具体的坐标位置。 预测输出：接着，SSM利用这些状态信息来预测输出序列 y(t) 。比如，为了更快接近出口，SSM可能会建议你再次向左移动。 不同于传统的离散序列输入方法，如简单的一步移动，我们采用的是连续序列输入，并预测其输出序列。 在状态空间模型（SSM）中，我们认为动态系统，例如在三维空间中移动的物体，可以通 ………………………………