阿里云采用以太网取代英伟达NVlink，实现1.5万个GPU互连！

主要观点总结

阿里云资深技术专家翟恩南分享了关于大型语言模型训练架构的研究论文。论文揭示了阿里云服务提供商为数据中心设计的架构，并介绍了如何解决传统数据中心在负载均衡方面的问题。论文详细介绍了阿里巴巴如何使用以太网实现GPU之间的通信，并介绍了高性能网络（HPN）的开发及其特点。

关键观点总结

关键观点1: 阿里云服务提供商为数据中心设计的大型语言模型训练架构。

该架构旨在解决传统数据中心负载均衡方案在面对LLM训练时的问题，如哈希极化导致的流量分配不均等。

关键观点2: 高性能网络（HPN）的引入。

HPN采用2级双平面架构，能够精确选择能够承载大流量的网络路径，减少了可能出现的问题，确保了网络通信的稳定性。

关键观点3: ToR交换机的使用及其重要性。

ToR交换机在LLM训练中起到关键作用，能够相互备份以避免单点故障。每个主机配备多个GPU，每个GPU都有其网络接口卡（NIC），每个主机通过不同的通道连接到不同的ToR交换机，以确保网络连接的可靠性。

关键观点4: 阿里云面临的挑战与创新解决方案。

虽然面临交换机运行时的高热量问题以及复杂的布线结构挑战，但阿里云已经开发了一种新的散热器解决方案，并在网络架构中采用了创新的方案。这些创新使阿里云能够在设置成本上节省大量资金，甚至可能避免使用Nvidia技术。

关键观点5: 阿里云的实践验证和项目兴趣。

阿里云已经使用HPN超过八个月，证明了该技术的实际可行性。包括AMD、Intel、Google和Microsoft等在内的多家公司对这一项目感兴趣，尤其是其相比NVlink的经济性和适用性。

文章预览

阿里云资深技术专家 , 网络研究团队负责人翟恩南通过 GitHub 分享了他的研究论文，揭示了阿里云服务提供商为其数据中心设计的用于大型语言模型（ LLM ）训练的架构。这份 PDF 文档题为《 Alibaba HPN: A Data Center Network for Large Language Model Training 》，详细介绍了阿里巴巴如何使用以太网使其 15,000 个 GPU 之间 实现 相互通信。 一般的云计算产生的都是稳定但较小的数据流，速度低于10 Gbps。而LLM训练则会周期性地产生高达400 Gbps的数据突发流量。根据该论文，这种LLM训练的特点使得传统数据中心常用的负载均衡方案——等价多路径（ECMP）容易出现哈希极化问题，导致流量分配不均等问题。 为避免这种情况，翟恩南和他的团队开发了高性能网络（HPN），采用了“2级双平面架构”，减少了可能出现ECMP问题的次数，同时让系统“能够精确选择能够承载大流量 ………………………………