10万块芯片，马斯克用最大超算挑战GPT

文章预览

昨天凌晨4点20，马斯克发推文宣称，自己刚刚启动了世界上最强的AI训练集群。 这个超算中心位于美国田纳西州，孟菲斯， 使用了100,000个（不用数了！是10万个！）英伟达H100液冷GPU ，通过单一RDMA网络连接 。 RDMA（Remote Direct Memory Access）即远程直接内存访问，它可以把数据直接从一台计算机传输到另一台计算机，无需双方操作系统的介入。单一RDMA打造了高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。 感谢xAI，X团队，英伟达以及其他厂商的支持｜X@elonmusk 单从规模来看，xAI孟菲斯超算中心 已经在算力上跻身世界第一 ，不仅远远超过了OpenAI用来训练GPT-4的2.5万块A100 GPU，也超越了Aurora（60,000 个 Intel GPU）和Microsoft Eagle（14,400 个 Nvidia H100 GPU），甚至超过了此前的世界第一超算Frontier（37,888 个 AMD GPU）。 H100是英伟达专为处理大 ………………………………