ICLR 2024 虽拒犹荣！Mamba系列论文整理分享

点击上方“AINLPer“，设为星标更多干货，第一时间送达引言今天，得分为8/8/6/3的Mamba论文被拒，其主要原因是ICLR 2024的审稿人认为该篇文章还存在重大的缺陷，在实验评估方法上面存在一定的争议。虽说被拒，但是Mamba确实一种新型的选择性状态空间模型方法，在语言建模方面可以媲美Transformer，并且目前已经有了很多结合Mamba的研究成果。那么，今天作者就整理了几篇与Mamba相关的文章。获取方式，回复：mamba论文Mamba原文Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长，比如上下文增加 32 倍时，计算量可能会增长 1000 倍，计算效率非常低。在这篇论文中，研究者提出了一种新的架构—「选择性状态空间模型（ selective state space model）」。它在多个方面改进了先前的工作。实验结果表明，「Mamba」在语言建模方面可以媲 ………………………………