Broadcom以太网AI集群：超越InfiniBand

主要观点总结

本文讨论了Broaicom公司的Hasan Siraj在AI网络需求中强调以太网的核心作用，以及与InfiniBand相比的优势。文章还涉及网络在扩展大型AI集群中的重要性，以及Meta在训练推荐模型时网络所占比重。Broadcom的THOR2 AI优化网卡和其故障恢复能力也进行了介绍。最后提到了以太网在大型生态系统中的支持以及不同群聊的相关内容。

关键观点总结

关键观点1: Hasan Siraj强调以太网在扩展AI集群中的核心作用

Hasan Siraj讨论了AI的网络需求，并指出以太网在扩展AI集群中的核心地位。

关键观点2: 以太网相较于InfiniBand的优势

以太网在故障恢复和成本效率方面相较于InfiniBand有优势，特别是在扩展大型AI集群时。

关键观点3: Meta在训练推荐模型时网络的重要性

在训练推荐模型时，网络所花费的时间占比很高，直接影响集群的投资回报率（ROI）。

关键观点4: Broadcom的THOR2 AI优化网卡的特点

THOR2是一款支持大规模RDMA的400G高性能网卡，具有长距离的Serdes覆盖和较低的功耗。

关键观点5: 以太网在大型生态系统中的支持和采用

最大的集群使用以太网，并且以太网拥有开放标准、高可用性，得到了大型生态系统的支持。

文章预览

点击蓝字 关注我们 Broadcom的Hasan Siraj在讨论AI的网络需求时，强调了以太网在扩展AI集群中的核心作用，并指出其在故障恢复和成本效率方面相较于InfiniBand的优势。 网络是扩展大型AI集群的关键要素，而以太网是合适的技术选择。 在训练推荐模型时，Meta发现网络所花费的时间占比在18%到57%之间，这直接影响了集群的投资回报率（ROI）。 AI网络的独特之处在于其对极高带宽、RDMA流量（大量数据传输）、间歇性数据激增的需求，以及落后数据对作业完成时间的显著影响，加之训练作业通常运行时间较长。 来源：Bradcom 他突出了公司端点调度解决方案（Tomahawk 5）和交换机调度（Jericho3-AI）。Jericho3-AI在单一域中，对32,000个加速器每个以800Gbps的速度，提供了10%的作业完成时间性能提升。     来源：Broadcom Broadcom的THOR2 AI优化网卡是一款支持大规模RDMA的400G ………………………………