网通社科技快报
商汤大装置日均6万亿Token服务 PD分离架构提升吞吐5倍
10月16日，第十届CSDI Summit上，商汤大装置副总裁、CTO宣善明披露其大规模推理服务进展：平台当前日均Token服务量达6万亿，计划2026年Q4提升至10万亿，全年规模预计增长25倍。该能力支撑Agentic时代多Agent协作与长任务执行需求——单次智能体任务Token消耗较传统问答高千倍，行业推理支出占比将从2026年的55%升至2027年的59%。在此背景下，AI基础设施竞争焦点已从算力规模转向“高质量Token产能”，即单位算力下可持续产出的、适配不同场景质量要求的Token数量。
为应对高端芯片受限与推理爆发的矛盾，商汤在临港AIDC部署万卡级异构推理集群，核心创新为PD分离架构：将Prefill（预填充）与Decode（解码）阶段解耦，中低阶国产算力专注计算密集型Prefill，高带宽旗舰GPU专责显存敏感的Decode，并通过800G/400G/200G混合高速互联传输KV Cache。该设计使相同高端GPU数量下Token吞吐达基准方案5倍，同时提升国产算力参与深度。工程上需30–50个Prefill节点匹配1个Decode节点，故障易致资源闲置，故同步推进AF分离技术——进一步拆分Attention与FFN计算，目标实现单卡吞吐提升150%–200%、成本降30%–40%、能效翻倍。
行业层面，Token已成为新标尺：中国日均Token消耗从2024年1000亿跃升至2026年8月500万亿；单集1.5分钟AI短剧耗500万–1000万Token；资本端涌现“Token工厂”模式，九章云极、硅基流动等聚焦按调用量计费，但面临毛利率承压（如硅基流动2025年毛利率-24%）。中金测算理想毛利率可达60%，现实瓶颈在于效率天花板；DeepSeek等厂商通过KV Cache优化与FP4精度并行，板卡吞吐最高提20倍。商汤实践表明，Agentic时代基础设施进入软硬协同、分层调度、精准匹配新阶段，其万卡集群本质是对算力资源的精细化重构，以有限硬件最大化高质量Token产能。
为应对高端芯片受限与推理爆发的矛盾，商汤在临港AIDC部署万卡级异构推理集群，核心创新为PD分离架构：将Prefill（预填充）与Decode（解码）阶段解耦，中低阶国产算力专注计算密集型Prefill，高带宽旗舰GPU专责显存敏感的Decode，并通过800G/400G/200G混合高速互联传输KV Cache。该设计使相同高端GPU数量下Token吞吐达基准方案5倍，同时提升国产算力参与深度。工程上需30–50个Prefill节点匹配1个Decode节点，故障易致资源闲置，故同步推进AF分离技术——进一步拆分Attention与FFN计算，目标实现单卡吞吐提升150%–200%、成本降30%–40%、能效翻倍。
行业层面，Token已成为新标尺：中国日均Token消耗从2024年1000亿跃升至2026年8月500万亿；单集1.5分钟AI短剧耗500万–1000万Token；资本端涌现“Token工厂”模式，九章云极、硅基流动等聚焦按调用量计费，但面临毛利率承压（如硅基流动2025年毛利率-24%）。中金测算理想毛利率可达60%，现实瓶颈在于效率天花板；DeepSeek等厂商通过KV Cache优化与FP4精度并行，板卡吞吐最高提20倍。商汤实践表明，Agentic时代基础设施进入软硬协同、分层调度、精准匹配新阶段，其万卡集群本质是对算力资源的精细化重构，以有限硬件最大化高质量Token产能。