网通社科技快报
81%企业GPU利用率不足50% 英伟达加速AI工厂但算力闲置成新痛点
VentureBeat Intelligence最新调查显示，在已将AI投入生产环境的企业中，81%的GPU平均利用率低于50%，凸显算力资源严重闲置现象。这一数据与英伟达高调推进的AI工厂战略形成鲜明反差：公司近期发布DSX POD模块化数据中心方案，承诺将部署周期从6个月压缩至14天，并宣布与揖斐电、三星电机、欣兴电子、安靠、京元电子、矽品精密六家上游厂商深化合作，涉及基板、先进封装、测试及光封装等领域，其中向京元电子支付11亿美元预付款，目标2027年中期CPO光学引擎产能提升15倍。
尽管硬件供给加速，实际使用效率偏低成为普遍困境。中国信通院测算显示，大规模分布式训练中网络通信耗时占30%–50%；华为王雷指出国内Token流通效率仅约60%；无锡众星微宁佐林称集群实际算力释放多不超50%。问题核心正从芯片转向互连层——当AI集群规模迈向万卡级，卡间带宽需求跃升至TB/s级，传统架构难以支撑。以GB200 NVL72为例，72颗GPU整合后对时延与带宽要求剧增，互连芯片（含NVLink、PCIe Switch、CXL控制器等）在整机成本中占比已达8%–9%，且增速快于整机。
行业共识转向系统协同：算、存、传、电、冷、感需整体优化。协议生态分层明确——Die-to-Die依赖UCIe，节点内由PCIe/CXL/NVLink主导，跨机架则进入InfiniBand/RoCE/UEC战场。英伟达凭借NVLink+NVSwitch+自研IB构建封闭闭环，而国产厂商亟需依托开放标准突破RAID控制器、SAS Expander、PCIe Switch等关键组件垄断。专家强调，单纯提升速率（如400G→800G）已不足，需将拥塞控制、多路径选择等机制下沉至硬件层，实现“智能交通式”数据调度。
当前企业普遍存在“买得起、用不好”矛盾：部分尚未完成模型微调与数据管道重构即仓促堆叠GPU，导致长期空转。下一阶段竞争焦点将从GPU数量转向使用效率，依赖软件栈（如NCCL优化）、网络拓扑设计与运维智能化的全栈协同。
尽管硬件供给加速，实际使用效率偏低成为普遍困境。中国信通院测算显示，大规模分布式训练中网络通信耗时占30%–50%；华为王雷指出国内Token流通效率仅约60%；无锡众星微宁佐林称集群实际算力释放多不超50%。问题核心正从芯片转向互连层——当AI集群规模迈向万卡级，卡间带宽需求跃升至TB/s级，传统架构难以支撑。以GB200 NVL72为例，72颗GPU整合后对时延与带宽要求剧增，互连芯片（含NVLink、PCIe Switch、CXL控制器等）在整机成本中占比已达8%–9%，且增速快于整机。
行业共识转向系统协同：算、存、传、电、冷、感需整体优化。协议生态分层明确——Die-to-Die依赖UCIe，节点内由PCIe/CXL/NVLink主导，跨机架则进入InfiniBand/RoCE/UEC战场。英伟达凭借NVLink+NVSwitch+自研IB构建封闭闭环，而国产厂商亟需依托开放标准突破RAID控制器、SAS Expander、PCIe Switch等关键组件垄断。专家强调，单纯提升速率（如400G→800G）已不足，需将拥塞控制、多路径选择等机制下沉至硬件层，实现“智能交通式”数据调度。
当前企业普遍存在“买得起、用不好”矛盾：部分尚未完成模型微调与数据管道重构即仓促堆叠GPU，导致长期空转。下一阶段竞争焦点将从GPU数量转向使用效率，依赖软件栈（如NCCL优化）、网络拓扑设计与运维智能化的全栈协同。