专栏名称: DeepTech深科技
“DeepTech深科技”是与麻省理工科技评论官方独家合作的一个新科技内容品牌。我们专注于关注三个方面:1、基于科学的发现;2、真正的科技创新;3、深科技应用的创新。
今天看啥  ›  专栏  ›  DeepTech深科技

Meta发布开源AI模型Llama 3.1,训练期间大约使用1.6万个英伟达H100 GPU

DeepTech深科技  · 公众号  · 科技媒体  · 2024-07-24 15:39

文章预览

当地时间 7 月 23 号, Meta 公司发布了迄今为止最强大的开源 AI 模型 Llama 3.1。该模型不仅规模庞大,性能也堪比最强大的闭源模型。这称得上是开源 AI 领域的一个重要里程碑。 Llama 3.1 模型家族总共有三个版本,规模最大的旗舰版本拥有 405B(4050 亿)参数,是近年来最大的开源 AI 模型。其余两个较小版本的参数量分别是 700 亿和 80 亿。 Meta  声称,Llama 3.1 405B 模型在多项基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。 “到目前为止,开源大型语言模型在功能和性能方面大多落后于闭源模型。 现在,我们正迎来一个由开源引领的新时代。”  Meta  在官方博客中写道,“迄今为止,所有 Llama 版本的总下载量已超过 3 亿次,而这仅仅是个开始。” (来源: Meta ) 模型评估 据介绍,Llama 3.1 系列模型展现了多方面的能力提升, ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览