ICLR 2025 | 精度近乎无损！首个Mamba系列模型量化方案MambaQuant

文章预览

点这里 👇 关注我，记得标星，么么哒～ 点击进入—> 【顶会/顶刊】交流群 添加微信号：CVer2233，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 本文宣传一下我们被 ICLR 2025 录用的文章—MambaQuant。 论文标题： MambaQuant: Quantizing the Mamba Family with Variance Aligned Rotation Methods 论文地址： https://arxiv.org/abs/2501.13484 作者单位： 后摩智能、哈尔滨工业大学、南京大学、东南大学 值得一提的是，该工作对 transformer-based LLM 模型的量化也有很大提升，例如在 Llama2 7B 模型上超过了 Quarot，是个很通用的方法！ Abstract Mamba 是一种高效的序列模型，可与 Transformer 相媲美，在各类任务中展现出作为基础架构的巨大潜力。量化技术常用于神经网络， ………………………………