可商用、性能超强！新开源Mamba架构纯代码模型

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 7月17日，法国著名开源大模型平台Mistral.ai在官网开源了，基于 Mamba架构的纯代码模型——Codestral Mamba。 根据测试数据显示，Codestral Mamba只有70亿参数，但性能却是Meta开源的知名代码模型CodeLlam 7B的两倍，成为同类最强代码模型之一。 开源地址：https://huggingface.co/mistralai/mamba-codestral-7B-v0.1 此外，Codestral Mamba支持256k上下文窗口可商业化，其架构使用的是目前比较流程的Mamba。 Mamba架构的核心优势在于其线性时间推理能力，这意味著能在处理序列数据时，无论序列长度如何增长，推理时间都能保持线性增长，而非指数级的膨胀 。 这一点与传统的Transformer架构形成了鲜明对比，它在处理长序列时，由于 ………………………………