Mamba作者新作：将Llama3蒸馏成混合线性 RNN

主要观点总结

本文介绍了Mamba模型在深度学习领域的应用及其与Transformer模型的对比。Mamba模型通过引入选择机制和线性扩展性，能够在处理长文本时具有优势。最近的研究表明，通过蒸馏技术，大型Transformer模型可以被转化为混合线性RNN模型，并保留大部分性能。该研究还提出了一种硬件感知推测解码算法，可以加速Mamba和混合模型的推理速度。

关键观点总结

关键观点1: Mamba模型引入了一种选择机制，可以根据输入对SSM进行重参数化，以滤除不相关信息并无限期地保留必要和相关的数据。

Mamba模型具有随上下文长度增加的线性扩展性，使其在处理长文本时具有优势。

关键观点2: 通过蒸馏技术，大型Transformer模型可以被转化为混合线性RNN模型，并保留大部分性能。这种方法结合了渐进式蒸馏、监督微调和定向偏好优化。

该研究提出了一种多级蒸馏方法，通过迁移大型模型（教师模型）的知识到较小的模型（学生模型）中，旨在训练学生网络模仿教师网络的行为。

关键观点3: 该研究提出了一种硬件感知推测解码算法，可以加速Mamba和混合模型的推理速度。该方法针对GPU架构进行优化，并在实验中得到验证。

该算法在缓存中仅保留一个RNN隐藏状态以进行验证，并根据多步内核的成功来延迟推进。

关键观点4: 实验结果表明，蒸馏后的混合Mamba模型在聊天基准测试上与教师模型相当，并在一些情况下超越了教师模型。此外，该研究还进行了与其他蒸馏方法的比较和消融研究，以验证其方法的有效性。

实验还包括与从头开始训练的开源模型的比较，以证明蒸馏方法的优势。

文章预览

关注公众号，发现CV技术之美 本文转自机器之心。 Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。 前段时间，Mamba 的出现打破了这一局面，它可以随上下文长度的增加实现线性扩展。随着 Mamba 的发布，这些状态空间模型 (SSM) 在中小型规模上已经可以与 Transformer 匹敌，甚至超越 Transformer，同时还能维持随序列长度的线性可扩展性，这让 Mamba 具有有利的部署特性。 简单来说，Mamba 首先引入了一个简单却有效的选择机制，其可根据输入对 SSM 进行重新参数化，从而可让模型在滤除不相关信息的同时无限期地保留必要和相关的数据。 最近， ………………………………