换掉Transformer，7B开源模型立刻登顶！任意长序列都能处理

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | 明敏 只是换掉Transformer架构，立马性能全方位提升，问鼎同规模开源模型！ 这就是最新 Falcon Mamba 7B 模型。 它采用 Mamba状态空间语言模型架构 来处理各种文本生成任务。 通过取消传统注意力机制，有效提升了模型处理长序列时计算效率低下的问题。 它可以处理 无限长 序列，但内存需求不增加。 无论上下文多长， 生成每个token的时间基本一样 。 由此，Falcon Mamba模型性能全方位提升，打败一众Transformer架构模型，如Llama-3.1(8B)、Mistral(7B)以及Falcon-2(11B)。 如上成果由阿联酋阿布扎比技 ………………………………