英伟达Mistral AI联袂出击！120亿小模型王者强势登场，碾压Llama 3单张4090可跑

文章预览

小模型，成为本周的AI爆点。 先是HuggingFace推出了小模型SmoLLM；OpenAI直接杀入小模型战场，发布了GPT-4o mini。 GPT-4o mini发布同天，欧洲最强AI初创公司Mistral立马发布旗下最新最强小模型——Mistral NeMo。 Mistral NeMo由Mistral AI和英伟达联手打造，有12B参数，支持128K上下文。 从整体性能上来看，Mistral NeMo在多项基准测试中，击败了Gemma 2 9B和Llama 3 8B。 看到各大巨头和独角兽都和小模型杠上了，吃瓜群众纷纷鼓掌。 HuggingFace创始人表示，本周巨头小模型三连发，「小模型周」来了！卷！继续卷！ Mistral这周的确像打了鸡血，火力全开。 几天前， Mistral才发布了两款小模型，专为数学推理和科学发现设计的Mathstral 7B和代码模型Codestral Mamba ，是首批采用Mamba 2架构的开源模型之一。 没想到周这只是平A了两下热热场子，还和老黄憋着大招等待闪亮登场。 1＋1＞2? ………………………………