Llama3.1系列模型正式开源，最大405B，闭源模型的统治时代将迎来结束？

文章预览

Meta开源了Llama3.1系列模型，最大参数规模为405B，开源也是好起来了，榜单指标直逼GPT4-o。 开源追上闭源模型不再是梦！Llama系列模型确实是开源界的头部，真金白银砸出来的就是不一样。 不过现在大家也都知道，榜单效果和真实使用效果也不是完全正比的， 后面看看对lmsys战榜单，还有大家的实测效果吧！ HF: https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f Llama3.1系列模型细节 15T Tokens预训练；占比知识50、数学25、代码17、语言8 8B、70B、405B的模型均采用GQA； 405B模型，有126层，词表大小128256，隐藏层维度16384；8B和70B模型与llama3一样就不介绍了； 支持上下文长度128k； 支持多语言，包括英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语；当然其他语言也可以使用，只是没有针对性进行安全测试。 instruct模型微调使用了 ………………………………