Meta推出迄今最强大开源模型，马斯克用10万块H100搭建全球最强AI训练集群

文章预览

每日行业新闻 1、Llama 3.1震撼发布，真正的全民GPT-4时代来了 Meta宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，同时发布了全新升级的Llama 3.1 70B和8B模型。 Llama 3.1 405B支持上下文长度为128K Tokens，在基于15万亿个Tokens、超1.6万个H100 GPU上进行训练，这也是Meta有史以来第一个以这种规模进行训练的Llama模型。 研究人员基于超150个基准测试集的评测结果显示，Llama 3.1 405B可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等业界头部模型媲美。（来源：智东西） 2、马斯克用10万块H100，搭建全球最强AI训练集群 马斯克在社交平台宣布，准备在单个RDMA结构（远程直接内存访问）上搭建 10 万块液冷H100 GPU，这也是目前全球最强的AI训练集群。 马斯克认为，截止到今年12月，从各项指标来看，这对于训练世界最强大的AI模型来说都是一个显著的优势。 马斯克旗下的大模型 ………………………………