HotChip2024-Day1:AI加速器芯片

文章预览

TL;DR HC2024第一天, 基本上非云厂商的AI加速器都露脸了, 可惜Nvidia Blackwell还是吹水为主, 对于微架构只字未提,于是本文把它放最后. AMD MI300X和Intel Gaudi3都有一些介绍, Tenstorrent也有一些详细的内容. 然后有一家FuriosaAI的TCP完全基于Tensor描述和爱因斯坦求和约定表达非常有趣的, BRCM介绍了一些CPO相关的内容. 在CPU上有一些端侧处理器, 例如Intel Xeon6 SoC, Intel Lunar Lake, 高通Oryon CPU. 还有IBM大型机的新一代处理器Telum 2整合了DPU. 0. OpenAI Predictable Scaling and Infrastructure 强调ScaleLaw 然后估计也被集群的稳定性惹毛了大谈稳定性... 渣认为: 宕机迁移, 热迁移, 稳定性,并且通过云的规模效应来解决这些难题才是关键啊 然后还有Iteration之间的电力抖动这些问题 1. AMD MI300X MI300X架构如下, 片上通过Infinity Fabric Advanced Package提供两个维度分别6TB/s和4.8TB/s的互联 CDNA3架构上,支持了F ………………………………