商汤大装置日均服务6万亿Token，PD分离架构提升推理吞吐5倍

10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明在主论坛发表《Agentic时代AI基础设施实践与趋势》演讲，首次系统披露其大规模推理服务的技术路径与运营规模：平台当前日均Token服务量已达6万亿，计划于2026年第四季度提升至日均10万亿，并预计全年Token服务规模实现25倍增长。

这一数字背后，是AI应用范式从单轮对话向多Agent协作、长任务执行的深刻转变。宣善明指出，单次智能体任务调用涉及多轮模型推理、工具调用与上下文维护，Token消耗较传统问答呈千倍级增长。行业数据显示，2026年推理支出将占AI IaaS总支出的55%，2027年升至59%；中国信通院报告亦显示，2026年3月全国日均Token调用量已突破140万亿，两年内增长超1000倍。

在此背景下，AI基础设施的竞争焦点正从“算力规模”转向“高质量Token产能”——即单位算力下可持续产出的、满足不同场景质量要求的Token数量。用户需求分化明显：基础问答关注成本与并发能力；办公Agent与客服系统强调首Token延迟（TTFT）与生成速度（OTPS）；而金融量化、科学计算等高价值场景则对结果准确性、可审计性与长上下文稳定性提出更高要求。

为应对高端芯片供给受限与推理需求爆发之间的结构性矛盾，商汤大装置在临港AIDC落地万卡级异构推理集群，核心技术创新在于“PD分离”架构。

大模型推理过程分为Prefill（预填充）与Decode（解码）两个阶段：Prefill处理输入序列，计算密集度高；Decode逐词生成输出，依赖高频KV Cache（键值缓存）读取，对显存带宽敏感。传统方案通常由同类型GPU串行完成两阶段任务，资源利用率受限。

PD分离将二者解耦：中低阶国产算力集中承担Prefill任务，高带宽旗舰GPU专责Decode阶段，两者通过高速互联网络（支持800G/400G/200G混合组网）传输KV Cache数据。该设计并非简单混搭硬件，而是依据计算特征与内存带宽需求重新组织算力资源分配。在特定测试配置下，采用相同数量高端GPU时，整体Token吞吐量可达基准方案的5倍。

值得注意的是，国产算力角色由此升级——不再仅用于边缘推理或训练辅助，而是深度参与核心推理链路，显著提升集群性价比。但工程挑战同步显现：部分配置需30–50个Prefill节点匹配1个Decode节点，一旦后者故障，大量Prefill资源将闲置。为此，商汤同步推进跨域PD分离与AF分离技术。

AF分离进一步细化任务粒度，将Attention与FFN（前馈神经网络）计算拆分至不同硬件单元执行。据宣善明介绍，该技术未来有望实现单卡吞吐量提升150%–200%、运营成本降低30%–40%，整体能效翻倍。

行业层面，Token已成为衡量AI基础设施效能的新标尺。香港科技大学（广州）校长倪明选在同期高算大会上指出，业内寒暄已从“多少P”“抢到几张卡”，转向“能调多少Token”“生成一个Token成本多少”。新爱算联合创始人杨智观察到，2025年下半年起推理需求持续超越训练，智能体上线常致服务器瞬时过载。

联想集团首席科学家肖利民补充，中国日均Token消耗从2024年的1000亿跃升至2026年8月的500万亿，主因正是AI从“感知回答”进化为“规划执行”的数字员工形态。单集1.5分钟AI短剧即可消耗500万–1000万Token，印证了内容生成类应用的高消耗特性。

资本端亦迅速响应。九章云极、硅基流动、无问芯穹等企业相继递表港交所，聚焦Token工厂模式——即不直接出租GPU，而是提供标准化推理服务能力，按Token调用量计费。该模式降低中小企业使用门槛，但也面临激烈价格竞争：硅基流动2025年收入增长超6倍，毛利率却跌至-24%；九章云极收入10.98亿元，超九成仍来自基础设施方案。

中金公司测算显示，理想条件下Token工厂理论毛利率可达60%，但现实瓶颈在于效率天花板。因此，能否在保障服务质量前提下持续提升每瓦特Token产出，成为生存关键。DeepSeek等厂商已通过双路径KV Cache加载等纯软件优化，使在线智能体效率提升1.96倍；叠加FP4精度专家并行等技术，板卡吞吐最高可提升20倍。

商汤的实践表明，Agentic时代的AI基础设施已进入“软硬协同、分层调度、精准匹配”的新阶段。其万卡异构集群不仅是规模扩张，更是对算力资源的精细化重构：通过PD与AF分离，让每一类芯片在其最优工作区间运行，从而在有限硬件约束下最大化高质量Token产能。

随着2026年Q4日均10万亿Token目标临近，行业将更清晰看到：谁能在成本、效率与稳定性三者间取得平衡，谁就真正掌握了AI落地的核心入口。