英伟达下一个“大杀器”

文章预览

今天这个料有点猛，GB200、GB300、VR200之后，英伟达还在规划什么？如下图（from 肉总） 其实相当于， 将4个NVL72继续压缩成一个288卡单机柜 。 这里有太多有趣的点值得咀嚼： 1. 我第一反应是， 这玩意靠谱吗？ 问了特别敬佩的一位美国大哥，他之前就参与过IBM大型机研发，当时GB200出来他提出了很多尖锐的问题。他看完这个288卡“怪物”竟然觉得，make sense...因为模型工作负载的重心变了... 2. 什么样的负载？显然是 推理 。 训练时代，后向传播需要超大规模的模型并行，从而强调 大集群、机柜间互联 （inter-rack）；而推理，尤其是小模型、多步推理，强调的 不是大集群，而是局部强互联，或者“超节点” （intra-rack）。 之前文章曾经说过， HBM解决了访存带宽最高性价比，而 成本、能耗更低的铜缆实现的超节点，解决了单机柜内卡间互联最高性价 ………………………………