AI集群突破单数据中心极限,电力与散热瓶颈催生Scale-Across新架构
随着AI加速器规模突破10万+,单个数据中心的供电与散热能力已达物理上限,推动行业转向跨数据中心甚至跨地域的Scale-Across架构。俄亥俄州立大学在SC26会议上指出,高效分布式计算不仅依赖更快...
大型AI训练集群正面临前所未有的物理边界约束:当单个集群集成超过10万个AI加速器时,传统数据中心的电力供给与热管理能力已无法支撑其持续运行。这一瓶颈正从根本上重塑高性能计算的基础设施演进路径——从单一机房内的Scale-Up与Scale-Out,转向跨越多个数据中心乃至地理区域的Scale-Across架构。
在2026年超级计算大会(SC26)上,俄亥俄州立大学的研究团队系统阐述了这一趋势背后的工程现实。他们指出,现代AI集群不仅包含数十万颗GPU或专用加速器,还可能接入数百万个CPU节点,对网络带宽、延迟控制及拥塞管理提出极高要求。更关键的是,加速器算力的增长速度持续快于互连通信能力的提升——这意味着单纯堆叠更高性能的GPU,并不能线性提升端到端应用效率;网络基础设施的效能,已成为决定大规模AI系统资源利用率的核心变量。
传统高性能计算体系长期依赖两类互连范式:Scale-Up与Scale-Out。Scale-Up聚焦单节点内部或机柜级互联,采用如AMD Infinity Fabric、Intel UPI、NVIDIA NVLink等高速片间/板间总线技术,实现低延迟、高带宽的紧耦合通信;Scale-Out则面向机房内多节点扩展,依托以太网、InfiniBand、HPE Slingshot等技术构建局域网络。这两类方案均假设计算资源集中于单一物理场所,其设计前提——稳定的高密度供电与高效散热——正在被超大规模AI训练任务打破。
以典型训练作业为例:一个千亿参数大模型的完整训练周期可能消耗数百万千瓦时电能,峰值功耗可达数十兆瓦。而当前主流超大规模数据中心单栋建筑的供电容量通常限制在20–30MW区间,冷却系统(尤其是液冷部署尚未普及的情况下)难以长期承载持续高负载。当集群规模逼近或超过该阈值,物理扩容已非最优解——新建数据中心周期长、成本高,且受限于电网接入点与冷却水源分布。
在此背景下,“Scale-Across”成为必然选择。该架构不再将计算视为单一实体,而是将地理分散的多个数据中心视作统一资源池,通过广域高速网络实现协同调度与数据流动。俄亥俄州立大学在会议材料中明确区分了三类扩展维度:
- Scale-Up(节点内扩展):单服务器内CPU/GPU/内存协同;
- Scale-Out(机房内扩展):同一数据中心内多服务器组网;
- Scale-Across(跨数据中心/区域扩展):多地集群通过互联网/WAN协同执行并行AI工作流。
第一,高带宽光互联升级。传统100G/400G以太网已显不足,800G乃至1.6Tbps光模块正进入部署阶段;同时,硅光集成(如Broadcom Jericho4芯片)与共封装光学(CPO)技术被寄予厚望,旨在降低功耗与信号损耗。
第二,RDMA over Converged Ethernet(RoCE)与智能拥塞控制协议优化。为在广域链路上实现接近本地网络的零拷贝远程内存访问,需结合ECN(显式拥塞通知)、DCQCN(数据中心量化拥塞控制)等机制,并适配长距离传输特性。Cisco、Marvell等厂商已在开发面向跨区AI训练的专用交换芯片与固件栈。
第三,分布式训练框架的重构。PyTorch Distributed、DeepSpeed等框架需支持“分片-重组-容错”全链路感知,使模型切片能在不同地理位置动态迁移与同步。例如,将注意力层部署于A地集群,前馈网络部署于B地,中间激活值通过压缩传输实时同步——这要求通信开销模型与计算图编排深度耦合。
值得注意的是,Scale-Across并非替代Scale-Up或Scale-Out,而是将其作为子集纳入更大系统。理想架构应支持“混合弹性扩展”:在单机房内优先用NVLink实现极致低延迟通信;当局部资源饱和后,自动触发跨中心任务卸载,并通过全局调度器保障一致性与SLA。
从产业实践看,Google、Meta等头部厂商已在部分超大规模训练任务中试点跨区域集群调度。例如,某语言模型的预训练阶段被拆分为三个地理分区:北美负责数据预处理与Embedding层,亚洲承担中间Transformer块,欧洲执行最后几层与微调——各区域集群独立供电冷却,仅通过专用光纤骨干网交换梯度与检查点。这种模式虽增加通信开销,但规避了单点电力瓶颈,提升了整体系统可用性与建设灵活性。
长远来看,电力与散热约束正倒逼整个AI基础设施栈发生结构性变革。过去十年,算力增长主要靠芯片制程微缩与架构创新;未来十年,系统级协同设计——包括供电拓扑、冷却介质、网络协议与软件调度——将成为决定AI集群实际效能的关键战场。当“一屋千卡”难以为继,“百城万卡”的分布式智能底座或将定义下一代AI基础设施的标准形态。
这一转变也对芯片设计提出新要求:加速器需更注重能效比与通信友好性,而非单纯追求峰值TFLOPS;互连IP核需原生支持长距可靠传输;甚至封装形式也要考虑与光引擎的集成兼容性。硬件、网络与软件的边界正在模糊,系统整合能力将成为云厂商与AI基础设施供应商的核心竞争力。
