文章预览
“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注 ！ 论文地址： https://arxiv.org/pdf/2405.21060 GitHub 地址： https://github.com/state-spaces/mamba 总体而言，本文提出了 SSD（state space duality）框架，基于此，研究者设计了一个新的体系架构 Mamba-2，其核心层是对 Mamba 的选择性 SSM 的改进，速度提高了 2-8 倍，同时在语言建模方面继续与 Transformers 竞争。 Tri Dao 表示，他们构建了一个丰富的 SSD 理论框架，许多线性注意力变体和 SSM 是等效的，由此产生的模型 Mamb
………………………………
