网通社科技快报

超十万GPU集群突破单数据中心极限 电力散热瓶颈催生ScaleAcross新架构

随着AI加速器集群规模突破10万颗,传统单数据中心的电力供给(通常限20–30MW)与散热能力已无法支撑持续高负载运行,物理瓶颈正倒逼基础设施架构根本性变革。俄亥俄州立大学在SC26会议上系统提出Scale-Across架构——将地理分散的多个数据中心视为统一资源池,通过广域高速网络协同执行AI训练任务。该模式区别于传统的Scale-Up(节点内NVLink等紧耦合互联)与Scale-Out(机房内InfiniBand/以太网组网),强调跨区域扩展能力。技术路径包括:800G/1.6T光模块与硅光集成、CPO共封装光学降低功耗;RoCE协议结合ECN/DCQCN适配长距传输;PyTorch Distributed等框架重构以支持模型分片动态迁移与压缩同步。产业层面,Google、Meta已在部分千亿参数模型训练中实践三地分工:北美处理数据与Embedding层,亚洲承担Transformer中间块,欧洲执行末层微调,各集群独立供电冷却,仅通过专用光纤交换梯度。这一转变要求芯片设计更重能效与通信友好性,系统整合能力成为云厂商核心竞争力。未来AI基础设施将从‘一屋千卡’走向‘百城万卡’的分布式智能底座。