主要观点总结
法国AI初创公司Mistral推出轻量级模型Ministral 3B和Ministral 8B,性能赶超Llama 3 8B及其他模型。这两款模型专为边缘设备打造,拥有高计算效率和低延迟的特性。它们支持高达128k上下文,并在知识、常识、推理、函数调用等方面表现出色。Ministral 8B还配备了滑动窗口注意机制。尽管在代码能力方面与某些模型存在差距,但在其他评测中占据首位。Mistral的收费模式引发争议,但其持续打造优秀模型的决心备受认可。
关键观点总结
关键观点1: Mistral推出轻量级模型Ministral 3B和Ministral 8B
这两个模型是专为边缘设备打造的,性能已经超越了Llama 3 8B及其他模型。它们支持高达128k的上下文,并在知识、常识、推理、函数调用等方面表现出色。
关键观点2: Ministral 8B配备滑动窗口注意机制
这一机制实现了更快和内存高效的推理,使模型在复杂任务中表现更优秀。
关键观点3: Mistral的收费模式引发争议
尽管年初有消息爆料微软将收购Mistral部分股份并对其进行投资,但Mistral的收费模式引发了一些争议。有网友吐槽其不再坚持开源的承诺。
关键观点4: Mistral持续打造优秀模型的决心备受认可
尽管面临争议,但Mistral的模型性能仍然受到认可。其持续打造优秀模型的决心也被广大用户所认可。
文章预览
新智元报道 编辑:桃子 【新智元导读】 Mistral 7B诞生一周年之际,法国AI初创公司Mistral再次连发两个轻量级模型Ministral 3B和Ministral 8B,性能赶超Llama 3 8B。 Mistral 7B仅仅发布一周年,法国AI初创小模型「les Ministraux」就打败它了。 它堪称是,世界上最好的边缘模型。 Ministral 3B和Ministral 8B这两款轻量级模型,专为边缘设备打造。 截至目前,它们正式加入Mixtral、Pixtral、Codestral、Mathstral行列,成为Mistral一员。 别看仅有30亿参数,在指令跟随基准上,完全超越了Llama 3 8B,以及前辈模型Mistral 7B。 而且Ministral 3B和Ministral 8B在大模型竞技场中的测试,均拿下了媲美Gemma 2、Llama 3.1开源模型的成绩。 世界上最好的边缘模型 Ministral 3B和Ministral 8B都支持高达128k上下文(目前在vLLM上为32k)。 在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设
………………………………