AI存储瓶颈成硬伤,微软高管详解系统级优化路径
微软Azure硬件系统与基础设施总裁Rani Borkar指出,单纯增加存储产能无法解决AI基础设施瓶颈。她强调,存储与电力已成为比计算芯片更难绕开的限制因素,并提出从芯片到系统的跨层协同设计解决方案...
在人工智能技术快速发展的当下,存储与电力问题正成为制约AI基础设施性能的关键瓶颈。微软Azure硬件系统与基础设施总裁Rani Borkar近日公开表示,单纯增加存储芯片产能并不能从根本上解决这一问题。她指出,AI推理模型规模不断扩大,对话上下文长度持续增长,导致存储与电力需求呈指数级上升,许多AI系统实际性能仅能发挥约20%。
Borkar认为,存储问题本质上是系统性问题,而非单纯的供应或组件问题。为应对这一挑战,微软提出了"从芯片到系统"的跨层协同设计思路,涵盖模型、编译器、芯片、网络到供电的全方位优化。以微软自研AI加速器Maia 200为例,该芯片采用台积电3nm工艺,搭载216GB HBM3e高带宽内存,同时通过模型压缩、数据科学与架构设计三方面降低KV Cache需求。
在网络层面,微软采用双层Scale-up网络架构,将网络接口控制器直接整合进芯片,搭配定制化传输层,有效降低延迟并减少昂贵加速器因拥塞、故障恢复或配置不当而闲置的情况。在电力管理方面,微软导入固态变压器与800V直流供电架构,并将精细电压与时钟控制器直接整合至Cobalt 200的每个核心内。
Borkar强调,这些创新并非孤立存在,而是需要协同作用才能显著提升相同存储资源所交付的成果。微软提出的"有效产出"新指标,正在将AI基建竞争从堆砌芯片数量转向系统级效率比拼。
值得注意的是,这一问题不仅限于微软。根据高德纳预测,2026年全球数据中心电力消耗将达到565太瓦时,同比增长26%,其中专门运行大模型的服务器用电量将从2025年的95太瓦时暴涨至175太瓦时,增幅达84%。中国信通院数据显示,2025年中国算力中心用电量预计达到1960亿千瓦时,同比增长18.1%,增速是全社会用电增速的3.6倍。
面对这一能源需求激增的局面,各国科技巨头纷纷采取应对措施。谷歌签下22年期核电长协锁定芬兰一座核电站一半发电量,微软重启已关闭的三里岛核电站,美国则计划重新提升天然气发电占比以满足人工智能基础设施用电需求。与此同时,中国通过"东数西算"工程,将东部算力需求转移至西部绿电富集地区,实现算力与能源的协同发展。