专栏名称: AI寒武纪
Attention Is All You Need
今天看啥  ›  专栏  ›  AI寒武纪

马斯克宣布建成全球最大AI超级计算机:10万台液冷H100 GPU

AI寒武纪  · 公众号  ·  · 2024-07-23 09:42

文章预览

马斯克亲自上阵督导下,在xAI团队、X团队、Nvidia团队等公司支持下,Memphis超级人工智能训练集群已经开始工作了 这台超级人工智能计算机拥有10万台液冷H100 GPU,在一个单一的RDMA架构上运行,这是迄今为止世界上最强大的AI训练集群 ‍ ‍ 单一 RDMA fabric 意味着所有这些 GPU 都连接在同一个高速、低延迟的网络上,允许它们高效地相互通信 这台超级计算机建于德克萨斯州孟菲斯,距特斯拉德克萨斯超级工厂约 6.5 小时车程 xAI 将使用这台巨无霸来训练新版本的 grok,不仅如此,未来的特斯拉擎天柱人形机器人,特斯拉自动驾驶神经网络,都将从这里产生新的迭代 目前貌似没有任何 LLM 可以达到相同的训练量,大家都知道LLM 的训练极为重要, 据报道GPT4 使用了大约 25000 H100  训练,马斯克显然希望 Grok3 训练剑指GPT-5 建设过程中,马斯克也去工厂里打 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览