晶圆级AI芯片WSE-3推理性能公布：在80亿参数模型上每秒生成1800个Token

文章预览

今年3月，新创AI芯片公司Cerebras Systems推出了其第三代的晶圆级AI芯片WSE-3，性能达到了上一代WSE-2的两倍，可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上，Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。 根据官方资料显示，WSE-3依然是采用了一整张12英寸晶圆来制作，基于台积电5nm制程，芯片面积为46225平方毫米，拥有的晶体管数量达到了4万亿个，拥有90万个AI核心，44GB片上SRAM，整体的内存带宽为21PB/s，结构带宽高达214PB/s。使得WSE-3具有125 FP16 PetaFLOPS的峰值性能，相比上一代的WSE-2提升了1倍。 作为对比，WSE-2芯片面积同样是46225平方毫米，基于台积电7nm制程，晶体管数量为2.6万亿个，AI内核数量为85万个，片上内存SRAM为40GB，内存带宽为20PB/s，结构带宽高达220PB/s。 如果将其与英伟达的H100相比，WSE-3面积将是H100的57倍，内 ………………………………