开源引领新时代 -Meta重磅发布Llama3.1 405B，可媲美GPT-4o级 及 社评

文章预览

北京时间 7 月 23 日晚，Meta 正式发布了 Llama 3.1 开源大模型。 本次发布一共 3 个参数规模： 8B、70B 和 450B。提升了上下文长度至128K。 450B 的大模型是用了 1.6 万张 H100 GPU，这是第一个以这种规模训练的  Llama  模型。Meta 还使用了 405B 参数模型来提高较小模型的后训练质量。 这可能是第一次任何人都可以免费下载一个类似GPT-4o级别的大型语言模型（LLM）并在自己的硬件上运行。你仍然需要一些强大的硬件：Meta表示它可以在"单个服务器节点"上运行，这不是台式机级别的设备。但这是对"封闭"AI模型供应商（如OpenAI和Anthropic）的一次挑战。 "Meta表示，Llama 3.1 405B是第一个公开可用的模型，当涉及到一般知识、可操纵性、数学、工具使用和多语言翻译等最新能力时，可以与顶尖的AI模型相媲美。公司CEO马克·扎克伯格将405B称为"第一个前沿级别的开源AI模型 ………………………………