小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文

文章预览

小模型，正在成为 AI 巨头的新战场。 今天凌晨，OpenAI 突然发布了 GPT-4o 的迷你版本 —— GPT-4o mini 。这个模型替代了原来的 GPT-3.5，作为免费模型在 ChatGPT 上提供。其 API 价格也非常美丽，每百万输入 token 仅为 15 美分，每百万输出 token 60 美分， 比之前的 SOTA 模型便宜一个数量级，比 OpenAI 此前最便宜的 GPT-3.5 Turbo 还要便宜 60% 以上。 OpenAI CEO 山姆・奥特曼对此的形容是：通往智能的成本已经「too cheap to meter」。 与动辄上千亿参数的大模型相比，小模型的优势是显而易见的：它们不仅计算成本更低，训练和部署也更为便捷，可以满足计算资源受限、数据安全级别较高的各类场景。因此，在大笔投入大模型训练之余，像 OpenAI、谷歌等科技巨头也在积极训练好用的小模型。 其实，比 OpenAI 官宣 GPT-4o mini 早几个小时，被誉为「欧洲版 OpenAI」的 Mistral AI ………………………………