Mistral新旗舰决战Llama 3.1！最强开源Large 2 123B，扛鼎多语言编程全能王

文章预览

昨天正式发布的Llama 3.1模型，让AI社区着实为之兴奋。 但是仔细一想就能发现——405B的参数规模，基本是没法让个人开发者在本地运行了。 比如昨天刚发布，就有一位勇敢的推特网友亲测，用一张英伟达4090运行Llama 3.1。 结果可想而知，等了30分钟模型才开始回应，缓缓吐出一个「The」。 最后结果是，Llama给出完整回应，整整用了20个小时。 根据Artificial Analysis的估算，你需要部署含2张8×H100的DGX超算才能在本地运行405B。 看来，小扎对Llama 3.1成为开源AI界Linux的期待，可能和现实有不少的差距。目前的硬件能力，很难支持405B模型的大范围全量运行。 此时，又一位开源巨头Mistral精准踩点，发布了他们的最新旗舰模型Mistral Large 2。 Mistral Large 2在代码生成、数学和推理等方面的能力明显增强，可以与GPT-4o和Llama 3.1一较高下。 而且，模型参数量仅有123B， ………………………………