首个超越GPT4o级开源模型！Llama 3.1泄密：4050亿参数，下载链接、模型卡都有了

文章预览

机器之心报道 机器之心编辑部 快准备好你的 GPU！ Llama 3.1 终于现身了，不过出处却不是 Meta 官方。 今日，Reddit 上新版 Llama 大模型泄露的消息遭到了疯传， 除了基础模型，还包括 8B、70B 和最大参数的 405B 的基准测试结果 。 下图为 Llama 3.1 各版本与 OpenAI GPT-4o、Llama 3 8B/70B 的比较结果。可以看到， 即使是 70B 的版本，也在多项基准上超过了 GPT-4o 。 图源：https://x.com/mattshumer_/status/1815444612414087294 显然，3.1 版本的 8B 和 70B 模型是由 405B 蒸馏得来的，因此相比上一代有着明显的性能提升。 有网友表示，这是 首次开源模型超越了 GPT4o 和 Claude Sonnet 3.5 等闭源模型，在多个 benchmark 上达到 SOTA 。 与此同时，Llama 3.1 的模型卡流出，细节也泄露了（从模型卡中标注的日期看出基于 7 月 23 日发布）。 有人总结了以下几个亮点： 模型使用了公开来源的 15T+ tokens ………………………………