MLPerf Llama大模型推理测试：一款GPU独战NVIDIA群雄

文章预览

目录 -  ML Commons 的 MLPerf 基准测试： Llama-2-70b -  8x GPU ： MI300X 与 H100-SXM 旗鼓相当 -  多 GPU 线性扩展评估、 B100 单卡表现优异 -  Tensor 并行多卡 NVLINK vs. PCIe 效率 -  选型参考：显存带宽是 Token/s 输出唯一决定因素吗？ -  硬件参数、卡间互连与软件发挥 ML Commons 的 MLPerf 基准测试： Llama-2-70b 最近看到国外网站讨论 NVIDIA 和 AMD 数据中心 GPU 的实际性能，我也想给大家分享点测试对比信息——来自第三方联盟组织 ML Commons 推出的 MLPerf Inference: Datacenter 基准测试。 ML Commons有点像AI行业的spec.org。 上图为组织的发起人成员，我看到除了 Intel 、 AMD 、 NVIDIA 等国外巨头之外，也包含有国内的公司阿里巴巴、华为、浪潮、宁畅、 OPPO 。显然，大家应该都是不希望在业内公认的基准测试中掉队，特别是 AI 这个如今火热的领域。 上图是更多成员，我又看到了 H3C ………………………………