百万卡AI集群，离不开英伟达网络

文章预览

近两年，打造新的超算集群成为了科技巨头的头等大事。 谁有更大的超算集群，谁就能在算力上占得先机，谁就能先人一步训练出更优秀的大模型，看似风平浪静的海面之下，正在酝酿一场异常激烈的军备竞赛。 其中影响力最大的，莫过于埃隆·马斯克（Elon Musk）的AI初创公司xAI在美国田纳西州孟菲斯建造的超算集群，该集群由10万块英伟达Hopper GPU组成，可能会一举成为目前地表最强AI超算集群。 我们可以做一个简单的对比，OpenAI的 GPT-4用了2.5万块英伟达Ampere GPU；全球超算TOP1的Frontier用了 3.78万块GPU，微软的云系统集群Eagle也只用了1.44万块英伟达Hopper GPU，单纯从AI算力来看，xAI的孟菲斯超算集群是毫无争议的第一。 然而，超算集群不是GPU的简单堆砌。对于研究人员来说，调用几千块GPU就需要耗费不少心力，想要让10万块GPU做到如臂使指，难度可以 ………………………………