网通社科技快报
是石科技发布TokenFleet调度框架 首Token延迟降32.4%有效产出提29%
2026年CCF全国高性能计算学术大会期间，是石科技正式发布分布式推理调度框架TokenFleet，聚焦大规模推理服务中的系统性效率瓶颈。该框架以提升‘有效Token产出’为核心目标，即在满足服务等级协议（SLO）前提下成功交付的高质量Token数量。针对当前GPU集群中请求排队与资源闲置并存、混合负载干扰实时响应等痛点，TokenFleet构建三层协同机制：
TokenPilot实现单模型池内智能路由，联合建模KV缓存复用收益与排队代价，动态评估请求分配策略；实测GLM5.3模型下P50首Token延迟下降71.3%，P95下降32.4%。
FleetMind解决跨机房容量协同问题，动态聚合各节点实际可用服务能力（含模型版本、网络RTT、服务就绪状态），避免因静态资源误判导致的调度失衡。
SLOMax执行混合负载分级治理，按交互类、长上下文类、离线类任务差异化配置队列与资源配额，并通过反馈闭环动态调整；启用后达标输出从8,500 Token/s升至11,000 Token/s，增幅29.4%，达标率由67%提升至86%。
该框架已适配vLLM、SGLang等主流推理后端，在多家头部AI基础设施服务商试点落地，计划2026年底开放SDK。其优化逻辑强调‘按需精准供给’，不追求绝对吞吐峰值，而是在SLO边界内最大化合格产出，为国产推理加速提供关键调度层突破。
TokenPilot实现单模型池内智能路由，联合建模KV缓存复用收益与排队代价，动态评估请求分配策略；实测GLM5.3模型下P50首Token延迟下降71.3%，P95下降32.4%。
FleetMind解决跨机房容量协同问题，动态聚合各节点实际可用服务能力（含模型版本、网络RTT、服务就绪状态），避免因静态资源误判导致的调度失衡。
SLOMax执行混合负载分级治理，按交互类、长上下文类、离线类任务差异化配置队列与资源配额，并通过反馈闭环动态调整；启用后达标输出从8,500 Token/s升至11,000 Token/s，增幅29.4%，达标率由67%提升至86%。
该框架已适配vLLM、SGLang等主流推理后端，在多家头部AI基础设施服务商试点落地，计划2026年底开放SDK。其优化逻辑强调‘按需精准供给’，不追求绝对吞吐峰值，而是在SLO边界内最大化合格产出，为国产推理加速提供关键调度层突破。