一文搞懂服务器内部CPU&GPU互联技术和带宽计算方式

主要观点总结

本文介绍了GPU服务器产品形态和芯片间互联技术的相关知识，包括CPU互联技术解析、CPU到GPU间的PCIe互联技术解析、GPU-GPU的典型互联方案NVLink等技术解析，以及AMD的Infinity Fabric和其他AI芯片互联技术等内容。此外，文章还介绍了第三届数据中心液冷大会的相关信息和关键词。

关键观点总结

关键观点1: CPU互联技术

文章介绍了Intel的UPI和AMD的xGMI的CPU互联技术，包括其原理、带宽计算方法和不同版本的差异。

关键观点2: CPU到GPU间的PCIe互联技术

文章解析了服务器内部CPU到GPU间通信的PCIe技术，包括不同PCIe版本的传输速率和带宽计算。

关键观点3: GPU-GPU的典型互联方案NVLink技术

文章介绍了NVLink技术的原理和历代版本的变化，以及与PCIe技术的对比。

关键观点4: AI芯片互联技术和其他相关技术

文章概述了包括NVLink在内的AI芯片互联技术的类型，以及AMD的Infinity Fabric、第三届数据中心液冷大会等相关内容。

文章预览

前言，GPU服务器的产品形态丰富，支持的卡数、卡的形态以及卡间通信速率也有不同，新手朋友在学习GPU服务器知识时经常会遇到芯片间互联技术的困惑，举个例子：为什么大规模集群训练都采用H100 SXM的八卡机？NVLink和标准PCIe差距有多大？CPU-CPU、CPU-GPU、GPU-GPU间的互联带宽是多少？有计算公式吗？今天一篇文章和大家讲清楚！ 01  Intel的UPI、 AMD的xGMI的CPU互联技术解析 CPU在服务器产品的数量通常是1颗、2颗、4颗或者8颗，在数量超过1颗时都需要采用互联技术实现多颗CPU间的通信，目前主流的CPU品牌为Intel和AMD，他们实现CPU芯片互联的技术也不相同。 1、Intel的CPU互联技术QPI或UPI UPI即Intel的Ultra Path Interconnect，从2017年发布第一代至强可扩展处理器skylake开始把QPI升级为了UPI，UPI拥有更高的通信速率、效率、更低的功耗，2路或者多路CPU之间通过2根或者更 ………………………………