文章预览
2024年7月16日,人工智能公司mistral AI宣布发布两款全新的专业AI模型:Codestral Mamba和MathΣtral。这两款模型分别针对代码生成和数学推理进行了专门优化 Codestral Mamba:高效的代码生成模型 Codestral Mamba是一款基于Mamba2架构的语言模型,专门用于代码生成。该模型采用Apache 2.0许可证发布,可以免费使用、修改和分发 与传统的Transformer模型不同,Mamba模型具有线性时间推理的优势,理论上可以处理无限长度的序列。这使得用户可以与模型进行广泛的交互,无论输入长度如何都能快速得到响应。这种高效性特别适合提高代码生产力 Codestral Mamba在上下文检索能力方面表现出色,可处理长达256k个token的输入。mistral AI团队预计它将成为一个出色的本地代码助手 该模型拥有约72.8亿个参数,可以通过mistral-inference SDK进行部署。用户还可以通过TensorRTLLM部署模型,或等待llama.c
………………………………
