TokenSpeed发布Agentic推理引擎 KV缓存复用率达99%以上

随着AI Agent应用从单次生成转向多轮短循环交互，传统LLM推理引擎在缓存利用、调度机制与硬件适配方面暴露结构性短板。为应对该挑战，TokenSpeed在AICon 2026深圳站发布面向Agentic场景的下一代推理引擎，首次提出以“延迟约束下的吞吐”为核心优化目标的新范式。该引擎采用Control Plane、Execution Plane与Kernel Plane三层解耦架构，实现调度与算子解耦，支持Triton、CuTe DSL等多后端灵活替换。技术层面重点突破自动并行编译、KV Cache生命周期管理与硬件协同优化：其自动并行系统可将单机单卡语义模型代码映射为分布式执行计划；通过Retraction + Prefix Cache双轨机制，结合Radix Tree匹配与Copy-on-Write策略，使KV Cache复用率在DeepSeek类模型上达99%以上，远超行业70%–80%水平；在Kimi K3等含896专家的MOE模型上，通过细粒度分组与异步通信调度缓解路由开销，并针对Blackwell平台Tensor Memory特性优化KV状态搬运。实测显示，batch size=1时端到端延迟比TensorRT-LLM快9%，每用户100 TPS下单GPU吞吐提升11%；上下文从128K扩展至1M时解码吞吐仅下降16%。引擎还前瞻性支持线性注意力模型（如KDA、Gated DeltaNet）的状态快照与隐状态恢复能力。当前该引擎已完成Blackwell平台阶段性验证，支持主流开源模型，部分Kernel与Runtime模块已开放，标志着推理基础设施正从‘生成’向‘交互’关键转型。