【半导体】谷歌撰文，深度剖析TPU

文章预览

  芯片项目组创始团队招募！◀ 点击查看！ 关于 TPU 的工作原理、它们如何联网以实现多芯片训练和推理，以及它们如何限制我们最喜欢的算法的性能。虽然这看起来有点枯燥，但对于真正提高模型效率来说，它非常重要。 什么是TPU？ TPU 基本上是一个专门用于矩阵乘法的计算核心（称为 TensorCore），连接到一堆快速内存（称为高带宽内存或 HBM），以下是图表： 图：TPU 芯片的基本组件。TensorCore 是左侧灰色框，包含矩阵乘法单元 (MXU)、矢量单元 (VPU) 和矢量内存 (VMEM)。 您可以将 TensorCore 视为一款出色的矩阵乘法机，但它还有一些其他值得注意的功能。TensorCore 有三个关键单元： MXU （矩阵乘法单元）是 TensorCore 的核心。对于大多数 TPU 代，它执行一次矩阵bfloat16[8,128] @ bf16[128,128] -> f32[8,128]乘法1每 8 个周期使用一个脉动阵列。 在 TPU v5e 上，1.5GHz 时 ………………………………