文章预览
【点击】 加入大模型技术交流群 写在前面 此一部分，介绍nvlink、nccl、nvswitch、gpgpu 之间的具体联动关系。侧重于介绍通信系统本身，以及和计算的耦合性，Nvlink & nvswitch system 为 nvidia gpgpu 大规模计算和超大算力的支持可以说是十分重要的，为此有必要单列一章进行分析介绍。 NVLink 之前 传统互联通路的失灵 - PCIE太慢了 PCIe 技术是PCI 技术的扩展，最初由Intel 于2001年公布，原名3GIO（第三代IO），在2002年由PCI-SIG 审核通过，改名为PCI express，此后，每一代带宽都是前一代的2倍，PCIE gen 5 每lane为32Gbps，折合为3938MB/s，gen 5 x16 即为64GB/s。2022年公布PCie gen 6 specification，每lane 带宽为64Gbps，x16 可达1Tbps 以上。 第一代Nvlink 起于pascal，2016年，Pcie 3.0 时期，彼时，gen3 x16的带宽只有128Gbps，也就是16GB/s，而且是机器上所有的设备只能共享这个带宽，而显然对于一
………………………………
