英伟达最新 GB300 & B300 细节曝光！

文章预览

在 GB200 和 B200 发布仅 6 个月后，英伟达又推出了一款全新的 GPU，名为 GB300 和 B300。这次看似常规升级的背后，实则暗藏玄机。 B300 GPU 是基于台积电 4纳米工艺节点的全新流片，对计算芯片进行了优化设计。相比于B200，其性能的提升主要在以下两个方面： 算力：FLOPS性能提升50%；功耗增加200W（GB300和B300 HGX的TDP分别达到1.4KW和1.2KW，前代则为1.2KW和1KW）；架构改进和系统级增强，例如CPU和GPU之间的动态功率分配（power sloshing）。 内存：HBM容量增加50%，从192GB提升至288GB；堆叠方案从8层HBM3E升级为12层；针脚速率保持不变，带宽仍为8TB/s。 为推理模型而生 内存的改进对于 OpenAI O3 这类大模型的训练和推理至关重要，因为随着序列长度的增加，KVCache也在增长，这限制了关键批处理大小和延迟。下图展示了英伟达当前几代 GPU 在处理 1k 输入令牌和 19k 输出令 ………………………………