大模型新浪潮：AI21推出Jamba大规模生成式语言模型，吞吐量远超业界水平

文章预览

AI21发布世界首个Mamba的生产级模型：Jamba，以下是官方模型介绍（原文链接在最下）： 摘要 首次推出基于 Mamba 技术的生产级别模型，标杆级的质量与性能。 2024年3月28日 我们非常激动地宣布，Jamba， 世界首个基于 Mamba 技术 的生产级模型问世了。Jamba 利用增强版的 Mamba 结构化状态空间（SSM）技术融合传统的 Transformer 架构，有效克服了纯 SSM 模型的局限性。它提供了 高达 256K 的上下文窗口大小 ，并已在数据吞吐量和运算效率上取得显著成果——这只是展示了这种创新混合架构潜力的开始。值得一提的是，Jamba 在众多性能基准测试中达到或 超过了同类最先进模型 的表现。 通过开源 Jamba 并采用 Apache 2.0 许可，我们期待社区能在这一激动人心的模型架构进步上做出更多发现和优化。我们非常期待看到您将创造出什么。 Jamba 也通过 NVIDIA 的 API 目录 [1] ………………………………