专栏名称: 之江实验室
之江实验室官方公众号。之江实验室由浙江省政府、浙江大学、阿里巴巴集团共同出资打造,以网络信息、人工智能为研究方向。以国家目标和战略需求为导向,以重大科技任务攻关和大型科技基础设施建设为主线,打造一批世界一流的基础学科群。
今天看啥  ›  专栏  ›  之江实验室

「不止科技」 | 马斯克19天10万卡,智算集群的极限在哪里?

之江实验室  · 公众号  ·  · 2024-08-13 17:48
    

文章预览

「不止科技」终终终于上新啦。 本期节目我们回归“主业”,聊一聊 智算集群 。 「不止科技」Vol.2 01 / BEYOND SCI-TECH Vol.2 - 智算集群 - 前段时间,马斯克宣称已经启动了世界上最强的AI训练集群,使用了 100,000块英伟达H100液冷GPU 。不用数了,是10万。没错,是10万卡。更恐怖的是, 搭建10万卡只用了19天 。 这个集群位于美国田纳西州的孟菲斯,据估计,它 每小时 使用的电力最高会达到150兆瓦,相当于 10万户家庭的用电量。 随着大模型的不断发展,智算集群的规模以令人震惊的速度扩张壮大。但随之而来的能耗问题也引发了人们对能源问题的担忧。 智算集群规模的扩张真的是一个 量变引起质变 的过程吗? “规模” 两个字对人工智能的发展又意味着什么? 液冷和风冷 是如何给算力设施降温的?能耗问题会成为制约AI发展的桎梏吗? 本期节目,我 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览