马斯克详解：xAI如何在122天内搭建上线10万张卡训练集群

主要观点总结

埃隆·马斯克主持了人工智能项目Grok 3的发布会，并详细介绍了其新推出的功能特点，包括显著提升的推理能力和自然语言处理能力以及新工具Deep Search的功能。发布会还介绍了项目中最困难的挑战在于如何协调训练全球最大训练集群，并分享了克服这些困难的过程，包括寻找合适的工厂作为数据中心，解决电力波动问题以及确保网络的顺畅运行等。

关键观点总结

关键观点1: Grok 3的核心特点

包括显著提升的推理能力、自然语言处理能力以及新推出的“Deep Search”工具。

关键观点2: 全球最大训练集群的搭建过程

面临了诸多挑战，包括协调训练模型在10万个GPU上的运行、电力波动问题以及网络问题等。

关键观点3: 数据中心的位置选择

选择了伊莱克斯工厂作为数据中心，该工厂被废弃但状况良好。

关键观点4: 电力问题的解决

需要至少120兆瓦的电力，最终为了20万个GPU需要0.25吉瓦的电力。通过租用发电机、使用液冷系统和特斯拉的Megapack来平滑电力波动来解决电力问题。

关键观点5: Grok 3训练过程的挑战

必须确保训练集群的健康运行，并确保每一个细节都正确，才能得到一个Grok 3级别的模型，这是非常困难和具有挑战性的。

文章预览

昨天中午， 埃隆·马斯克领衔主持了万众期待的“地表最强人工智能”——Grok 3的发布会。 他与xAI的首席工程师Igor Babuschkin、联合创始人Jimmy Ba、Yuhuai "Tony" Wu共同亮相， 详细介绍了Grok 3的核心特点，包括其显著提升的推理能力、自然语言处理能力以及新推出的“Deep Search”（深度搜索）工具。 这一工具被设计用来处理复杂的查询，能够整合网络搜索和X平台上的实时信息，为用户提供更精准、深入的回答。 在回答最后一个观众提问时，埃隆介绍了xAI团队如何创下另一个工程奇迹： 克服重重困难，在短短122天内，搭建并上线了10万张卡的全球最大训练集群。 观众提问： 在这个项目（Grok 3）中，最困难的部分是什么？你对此感到兴奋的是什么？ Jimmy Ba： 回想起来，我认为最困难的部分是让整个模型在10万个H100 GPU上协调训练，这几乎就像在与宇宙的 ………………………………