AI集群对网络的新要求

在人工智能技术迅猛发展的今天,AI训练集群的规模正在以前所未有的速度增长。从数百个加速器扩展到数十万个加速器的超大规模集群,不仅对计算能力提出了极限挑战,也对网络互联提出了全新要求。在这个背景下,ES...

人工智能

在人工智能技术迅猛发展的今天,AI训练集群的规模正在以前所未有的速度增长。从数百个加速器扩展到数十万个加速器的超大规模集群,不仅对计算能力提出了极限挑战,也对网络互联提出了全新要求。在这个背景下,ESUN(Ethernet for Scale-Up Networking)这一由开放计算项目(OCP)定义的创新方案,正在重新定义以太网在网络中的角色。

AI集群对网络的新要求

现代AI训练系统与传统云计算工作负载有着本质区别。在AI训练过程中,加速器之间需要进行严格的同步操作,任何一个数据包的延迟或丢失都会导致整个集群的效率大幅下降。根据semiengineering的报道,即使99%的数据包按时到达,一个延迟的数据包也可能导致所有加速器闲置等待,从而造成巨大的计算资源浪费。

这种对网络性能的极端要求,迫使工程师们重新思考网络架构的本质。传统的以太网设计是基于"尽力而为"的原则,能够容忍偶尔的数据包丢失和抖动,但对于AI训练来说,这已经不再适用。AI性能的关键指标是尾部延迟(tail latency),即在一个集体操作中最慢的那个数据包。为了应对这一挑战,ESUN应运而生,它是一个专门为AI加速器通信设计的网络解决方案。

ESUN的核心创新

ESUN的核心设计理念是让加速器之间的通信尽可能地本地化,使它们感觉像是在一个单一的统一机器内部运行。为了实现这一目标,ESUN在多个层面进行了革新:

  • 无损传输:通过Link Level CM(瞬时拥塞管理)和EH-ECN(增强型显式拥塞通知)机制,确保数据包不会丢失,避免了重传带来的额外延迟。
  • 低延迟:采用EH-CoS(802.1p)机制,实现了更精细的流量区分,减少了数据包在传输过程中的延迟。
  • 确定性:通过LLR(链路级冗余)和EH-Flow Label等机制,提供了确定性的传输保障,使得数据包的传输路径更加可预测。
  • 弹性拓扑:支持多种分层拓扑结构,包括IP based ECN和EH-ECN,适应不同规模和复杂度的AI集群需求。
  • 负载均衡:利用EH-Flow Label机制,实现了更智能的流量调度,提高了网络资源的利用率。
  • 图片

    技术实现细节

    从技术实现上看,ESUN在标准以太网的基础上进行了深度改造。图1展示了ESUN与标准以太网在多个关键特性上的对比,包括拥塞管理、流量区分、弹性、负载均衡和多交换机跳数支持等方面。ESUN引入了PFC/CBFC(优先流控制/连续优先流控制)、EH-ECN、EH-CoS等新机制,显著提升了网络的可靠性和性能。

    Synopsys提供的ESUN解决方案则展示了其硬件实现方式。该方案在Layer 2和Layer 1分别采用了不同的技术:在Layer 2,使用了LLR/CBFC控制器和1.6T/800G/400G/200G MAC;在Layer 1,则采用了1.6T/800G/400G/200G PCS和224G/112G PHY。这些组件共同构成了一个高性能的ESUN网络解决方案。

    图片

    行业影响与未来展望

    ESUN的出现标志着AI基础设施建设的一个重要转折点。对于芯片制造商、服务器厂商和数据中心运营商来说,这意味着他们需要重新评估和设计网络架构,以适应AI时代的特殊需求。例如,英伟达、AMD等GPU厂商已经开始在其产品中集成ESUN兼容的网络接口,而阿里巴巴、腾讯等大型云服务商也在部署ESUN网络以支持其庞大的AI训练平台。

    从长远来看,ESUN不仅仅是一个网络协议的升级,它代表了AI基础设施的一次全面重构。随着AI模型规模的持续扩大,对网络性能的要求只会越来越高。ESUN的成功实施将为未来的AI发展奠定坚实的网络基础,同时也可能催生新的网络设备和解决方案市场。

    可以预见,在接下来的几年里,ESUN将成为AI训练集群的标准配置之一。这不仅会推动相关硬件和软件技术的发展,还将促进整个AI生态系统的协同进化。对于科技行业来说,这是一个充满机遇和挑战的新纪元。