3天把Llama训成Mamba，性能不降，推理更快！

文章预览

↑ 点击 蓝字  关注极市平台 来源丨新智元 极市导读   近日，Ma mba方面又搞出了有意思的研究： 来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（Mamba）也是我们的老熟人了。 至于到底能不能其乐融融，咱就不管了，之所以有此场景，是因为Mamba方面又搞出了有意思的研究： ——如何把Llama变成Mamba？ 论文地址：https://arxiv.org/pdf/2408.15237 代码地址：https://github.com/jxiw/MambaInLlama 近日，来自康奈尔、普林斯顿等机构的研究人员推出了上面这篇工作，将Llama这样的大型Transformer提炼成了Mamba模型， 并且成功在Mamba架构上应用了带有硬件感知的推测解码算 ………………………………