是石科技发布TokenFleet调度框架，P95首Token延迟降低32.4%，聚焦有效Token产出优化

2026年CCF全国高性能计算学术大会期间，是石科技正式发布分布式推理调度框架TokenFleet。该框架并非针对单点性能突破，而是面向大规模推理服务场景下的系统性效率优化，核心目标是提升“有效Token产出”——即在满足服务等级协议（SLO）前提下，成功交付且符合质量要求的Token数量。

当前大模型推理服务普遍面临一个矛盾现象：GPU集群中请求排队与资源闲置并存。短对话、长文档生成、离线批量任务等混合负载共用同一套算力池，若仅按请求数量简单分流，极易导致部分实例过载而其他节点空转；长请求挤压实时交互通道，超时重试又进一步消耗算力却未形成有效产出。这种低效调度直接拉高了用户感知的首Token延迟（TTFT），尤其影响尾部请求体验。

TokenFleet将推理服务类比为一座“Token优化工厂”：GPU是生产设备，推理实例是工位，业务请求是订单。其调度逻辑围绕三个关键维度展开——请求分给谁、任务何时入队、多机房容量如何协同——最终统一指向同一指标：单位算力投入下达成SLO的有效Token产出。

框架由三大子系统构成：

TokenPilot负责单模型池内的智能推理路由。传统调度常依据实例负载或轮询分配请求，但忽略了一个关键变量：KV缓存复用价值。相同前缀的请求若被路由至已缓存对应上下文的实例，可显著减少Prefill阶段的重复计算。然而，缓存命中率高的实例往往排队更久，节省的计算时间可能被等待时间抵消。

TokenPilot创新性地将“缓存收益”与“排队代价”联合建模：它综合输入长度、输出预算、可复用前缀比例估算工作量，并结合队列深度、在途Token数、KV缓存压力及预测延迟，对候选实例进行动态评分。调度器据此判断：复用缓存所节省的计算开销，是否足以覆盖额外等待成本。

实测数据显示，在GLM5.3模型部署于同构显卡集群的典型负载下，采用TokenPilot后，P50首Token延迟下降71.3%，P95下降32.4%。其中P95反映的是最慢10%请求的响应表现，对用户体验影响尤为显著。

FleetMind则解决跨机房协同问题。在多地部署的服务架构中，“有空闲GPU”不等于“能立即接单”。目标模型是否已部署、版本是否匹配、服务端点是否就绪、网络传输延迟几何，均影响实际服务能力。

FleetMind不依赖静态资源清单，而是动态聚合各机房的“可用服务容量”——即满足特定模型、版本、SLO要求的实际可承接请求能力。它将网络RTT、服务就绪状态、局部负载波动纳入容量评估模型，实现更精准的全局流量调度，避免因误判导致的请求堆积或资源浪费。

SLOMax专攻混合负载的准入控制与队列治理。不同业务对延迟、吞吐、完成时限的要求差异巨大：实时对话需毫秒级响应，长文档处理允许数秒等待，离线批量任务则关注整体完成率。若无差异化策略，高优先级请求会被低优先级任务阻塞。

SLOMax按工作类型与服务等级对请求分类：交互类（首Token与生成速度敏感）、长上下文类（KV缓存与并发约束主导）、离线类（完成期限与吞吐主导）。系统据此动态分配队列容量，并通过效果反馈闭环调整——例如，当某类任务达标吞吐持续偏低，系统会临时提升其资源配额；反之则收缩，防止过度抢占。

是石科技提供的对比数据表明，在未启用分级调度的基线系统中，总输出吞吐为12,600 Token/s，其中达标输出（满足SLO）仅8,500 Token/s，达标率约67%；启用TokenFleet流控协同调度后，总吞吐微增至12,790 Token/s（+1.5%），但达标输出跃升至11,000 Token/s（+29.4%），达标率提升至86%，相当于单位算力的有效产出提高约19个百分点。

这一结果印证了TokenFleet的设计哲学：不盲目追求绝对吞吐峰值，而是在服务承诺边界内最大化合格产出。对于云厂商与AI服务提供商而言，这意味着在同等硬件投入下，可支撑更高SLA水平的客户接入量，或以更低成本维持现有服务水平。

值得注意的是，TokenFleet的优化效果高度依赖于与推理引擎的深度集成。例如，其缓存收益评估需准确读取KV缓存状态；队列治理需与推理运行时共享在途Token与显存占用信息。目前该框架已适配主流推理后端如vLLM、SGLang等，并在多家头部AI基础设施服务商内部开展试点。

行业背景方面，随着大模型从“能用”转向“好用”，推理效率已成为继模型精度之后的关键竞争维度。据IDC报告，2026年全球AI推理支出中，约43%用于优化调度与资源利用率，较2024年上升11个百分点。国内厂商在芯片与模型层面追赶的同时，调度层的系统性创新正成为新的突破口。

相较之下，小红书Dots团队近期发布的DoSA技术聚焦于稀疏注意力中的索引器加速，在百万Token上下文场景下将首Token延迟降低37%~48%，但属于模型层/算子层优化；而TokenFleet则位于服务编排层，作用于整个推理服务生命周期，二者互补而非替代。

目前，TokenFleet已在是石科技自研推理平台中落地，并计划于2026年底开放SDK供第三方集成。其开源策略尚未明确，但技术白皮书已同步发布，详细阐述了三项核心模块的算法设计与收敛性保障。

随着多模态与长上下文模型持续演进，推理负载复杂度将进一步升高。调度框架从“尽力而为”走向“按需精准供给”，或将成为下一代AI基础设施的标准配置。