TokenSpeed推出面向Agentic场景的下一代LLM推理引擎，KVCache复用率达99%以上

随着 AI Agent 应用快速落地，推理负载形态正从“一次性生成”转向“多轮短循环交互”。这一转变暴露出传统 LLM 推理引擎在吞吐目标、缓存利用与硬件适配上的结构性短板。为应对这一挑战，TokenSpeed 团队在 AICon 2026 深圳站发布其面向 Agentic 场景的下一代推理引擎架构，首次系统性提出以“延迟约束下的吞吐”为核心优化目标的新范式。

传统聊天类推理中，用户发起一次请求，模型生成整段回复，系统只需最大化 batch size 以提升吞吐；KV Cache 在 prefill 阶段加载后即被释放，复用率天然偏低。而在 coding agent 或工具调用型 Agent 中，一次任务往往由数十轮短请求构成：首轮携带长达数万 token 的上下文前缀，后续每轮仅生成数百 token 的响应，并伴随工具调用与结果反馈。这意味着推理引擎必须重构缓存策略、调度机制与性能评估体系。

TokenSpeed 将核心性能指标定义为：在每用户 TPS ≥70 的延迟约束下，尽可能提升单 GPU 吞吐能力。测试表明，在 batch size=1 的最小延迟场景下，其端到端延迟比 TensorRT-LLM 快 9%；在典型工作点（每用户 100 TPS）下，单 GPU 吞吐高出 11%。这一优势部分源于其对 KV Cache 利用率的极致优化——在 DeepSeek 类模型上，缓存复用率可达 99% 以上，远超行业普遍的 70%–80% 水平。当上下文长度从 128K 扩展至 1M 时，解码吞吐仅下降 16%，验证了其长上下文处理的稳定性。

为支撑上述能力，TokenSpeed 采用三层解耦架构：Control Plane（控制面）、Execution Plane（执行面）与 Kernel Plane（内核面）。控制面使用 C++ 实现，专注调度决策与资源安全；执行面基于 Python，负责模型执行、多流并发与事件驱动；内核层则独立封装算子库，支持 Triton、CuTe DSL、Gluon 等多种后端，并可跨平台替换。这种设计确保了模块边界清晰、迭代解耦，避免了传统引擎中调度与算子强耦合导致的性能瓶颈。

在具体技术路径上，项目重点突破了三大方向：自动并行编译、KV Cache 生命周期管理与硬件协同优化。

自动并行编译系统借鉴了编译器思想，将用户编写的“单机单卡语义”模型代码（如 MoEBlock），通过 PlacementType（REPLICATE/SHARD/PARTIAL）与 ParallelGroup（ATTN_TP/DENSE_TP/MOE_TP_EP）等抽象，自动映射为分布式执行计划。系统还引入 ModuleSpec 描述模块间通信需求，并基于 DTensor 启发实现轻量级静态分析，实现无运行时开销的编译期并行决策。

KV Cache 管理方面，TokenSpeed 提出“Retraction + Prefix Cache”双轨机制。前缀缓存（HybridPrefixCache）采用 Radix Tree 匹配，支持 Checkpoint 复用与 Copy-on-Write，实现私有 working slot 分离；Retraction 机制则在设备写回 host 时触发状态恢复，配合 FlatKV 保护策略，确保连续 wedge 后仍能维持最大持有者。在 Kimi K3 案例中，其统一扁平 KV 缓存（FlatKV）可在一个 page 中存储 1,536 token 的 MLA 潜在历史，或一个 KDA 缓存快照，同时支持全局 page-ID 空间与 Copy-on-Write/CUDA-graph decode 协同。

硬件适配层面，随着 Blackwell 平台引入 Tensor Memory 与新一代 Tensor Core，以及 AMD CDNA 架构差异化能力显现，推理引擎必须深度绑定硬件特性。TokenSpeed 在 Kernel 层针对 Blackwell 做了专项优化，例如利用 Tensor Memory 加速 KV 状态搬运、适配稀疏 MOE 路由的低延迟通信模式。以 Kimi K3 为例，该模型含 896 个专家，虽采用 Latent MOE 技术将激活比例提至 16%，但路由与通信复杂度仍高；引擎通过细粒度专家分组与异步通信调度，有效缓解了通信开销。

值得注意的是，线性注意力模型（如千问 Gated DeltaNet、Kimi K3 的 KDA）正逐步替代传统 Transformer，其上下文表征不再依赖 token-wise KV 对应，而是通过 SSM 状态与卷积状态持续迭代更新。这要求推理引擎具备状态保存、增量更新与快速恢复能力——TokenSpeed 已在设计中预留状态快照接口，并支持在 Retraction 时同步恢复 SSM 隐状态，为未来模型演进留出空间。

从产业视角看，Agentic 推理的规模化落地正倒逼基础设施升级。当前多数推理服务仍沿用 Chat 优化范式，导致 Agent 任务成本居高不下：一次 10 轮交互若无法复用前缀缓存，prefill 计算将重复 10 次，GPU 显存与算力浪费严重。而 TokenSpeed 所展示的高复用率与低延迟能力，意味着在同等硬件规模下，单 GPU 可支撑更多并发 Agent 实例，直接降低服务成本。

目前该引擎已在 Blackwell 平台完成阶段性验证，支持主流开源模型架构，并开放部分 Kernel 与 Runtime 模块。随着更多线性注意力与 MOE 模型上线, 面向 Agentic 的推理引擎将从“可选项”变为“必选项”——它不仅是性能升级，更是推理范式从“生成”向“交互”的关键基础设施转型。