主要观点总结
本文讨论了工业界对以太网扩展的问题,提出了一种基于Eth+字母/符号的扩展以太网的方法,并对EthernetZ协议规范进行了介绍。文章从应用层面到实现层面对此问题进行了深入分析,讨论了定义协议、真实情况、正确之路等相关话题。文章最后对内存语义总线传输和以太网的可扩展性进行了探讨。
关键观点总结
关键观点1: 工业界对以太网的修改冲动主要来源于高性能计算和人工智能应用的需求,特别是在内存语义承载方面。
由于NVLINK等总线在承载LD/ST方面的效率远高于以太网,工业界希望改进以太网以提高其效率。
关键观点2: EthernetZ协议旨在解决以太网在ScaleUp和ScaleOut方面的挑战,通过压缩报文头以实现更小的传输开销。
该协议定义了几个关键字段,如FlowLabel、HopLimit等,以支持多路径路由和灵活的编址需求。
关键观点3: 真实情况部分提到,有些所谓的创新实际上是愚人节把戏,例如IPv6-协议是纯粹的整蛊。
定义协议看似容易,但真正考虑实际应用和工程实现时,会发现其难度很大。
关键观点4: 在讨论正确之路时,文章分析了应用需求、GPU实现、小消息优化和可靠性优化等方面的问题。
文章指出,设计系统时需要同时考虑老的应用和新兴应用的需求,以及如何在保证可靠性的同时优化传输效率。
关键观点5: 文章最后对以太网和内存语义总线传输的潜力进行了探讨,提出了一些潜在解决方案和挑战。
文章强调了理解应用范式和实现细节的重要性,以实现更高效、可靠的传输。
文章预览
好像工业界挺喜欢Eth+"字母/符号"的方式来扩展以太网, 也不知道这些人802.3那几千页的标准认真读过没? 反正我是读完了的. 索性我也来搞个东西叫EthZ, 简称 以太渣 ,或者按照某H姓数通厂商对某Z姓厂商的评价, 也叫Eth26, 俗称 二流以太网 , 取个贱名好养活. 当然本文最精彩的部分在第三章和第四章, 请各位读者耐心看完. 1. 工业界对修改以太网的冲动 主要来源是HPE Cray Slingshot, 然后在UEC中也有Packet Rate Improvement(PRI)的工作组. 主要理由是当一些HPC和AI应用需要承载内存语义时, 从RoCEv2的视角来看, 一个报文需要Eth Header(14B) + IP Header(20B) + UDP(8B)= 42B. 还不算BTH(12B)/RETH(16B)/AETH(4B)的开销. 然后还有以太网CRC 4B, 前导帧8B, IFG 12B带来的开销. 而另一方面NVLink的Header只有16B, PCIe TLP+Seq 18B,如下所示 对于GPU访问而言, CacheLine为128B, 但可以通过 cudaLimitMaxL2FetchGranularity 调整.
………………………………