终极GPU互联技术探索：消失的内存墙

《AI算力的阿喀琉斯之踵：内存墙》一文曾指出，过去20年，硬件算力峰值增长了90000倍，但是DRAM/硬件互连带宽只增长了30倍。在这个趋势下，特别是芯片内或者芯片间的数据传输会迅速成为训练大规模AI模型的瓶颈。上个月，在英伟达GTC 2024大会上发布了“更大的GPU”：新一代Blackwell 架构的B200和GB200 GPU ，其中B200采用台积电4nm工艺，晶体管数量高达2080亿，而GB200集成了1个Grace CPU和2个B200 GPU。目前，头部AI芯片厂商都在推进现有芯片设计和制造技术的极限，但问题是，当这些“花招”用完后怎么办？在面向AI负载的新锐芯片创业企业里，我们在此前的文章中提到了SambaNova、Tenstorrent和Ascenium，他们要解决的最核心的问题是placement和routing。成立于2021年Eliyan公司则专注于芯片组互联技术，他们在物理层（physical layer，PHY）方面进行了架构创新，并推出了NuL ………………………………