智谱GLM-5.3-Highspeed实测达490tokens/s,推理速度再破纪录

智谱在ZCode中灰度测试新款高速模型GLM-5.3-Highspeed,实测输出速度达490 tokens/s,接近500 TPS;该模型上下文窗口100万token,最大生成长度131,072 t...

人工智能

智谱近期在其AI编程工具ZCode 3.15.1版本中悄然开启了一款新模型的灰度测试——GLM-5.3-Highspeed。据X平台用户@leo114119实测反馈,该模型在实际调用中输出速度达到490 tokens/s(即TPS),接近每秒500个token的理论极限。这一数据若属实,将显著超越当前主流大模型API的推理性能。

该实测截图清晰标注了“速度 493 tok/s”,并注明响应时间为4.9秒、缓存命中率99.9%,表明其高吞吐能力并非偶然波动,而是在稳定服务状态下达成的指标。值得注意的是,该模型目前仅对ZCode订阅用户进行随机灰度开放,普通Lite套餐用户暂无法访问,尚无公开申请入口。

从技术参数看,GLM-5.3-Highspeed与标准版GLM-5.3保持高度一致:上下文窗口为100万token,单次最大生成长度为131,072 token(约128k),支持low/high/max三档推理强度调节,并启用Reasoning能力。这些信息已在开源编程智能体Pi harness的模型目录中公开确认(model ID: glm-5.3-highspeed),其API端点为https://api.z.ai/api/coding/paas/v4。

对比此前产品线,此次提速幅度尤为显著。今年5月发布的GLM-5.1-highspeed曾以400 tokens/s的速度创下当时行业记录;上月刚推出的GLM-5.3-FlashX最高速度为200 tokens/s;而根据AI Ping平台评测,标准版GLM-5.3 API平均输出速度仅为70.84 tokens/s,DeepSeek V4.1 Flash官方API为121.34 tokens/s。GLM-5.3-Highspeed以490 tokens/s的表现,相当于标准版的近7倍、FlashX的2.45倍,展现出极强的工程优化潜力。

速度提升的背后是系统级软硬件协同优化此前GLM-5.1-highspeed由智谱GLM团队与TileRT团队联合开发,其核心思路在于放弃传统Runtime层的动态算子调度,转而将整个推理计算图在编译期静态编排为常驻GPU的persistent Engine Kernel,从而大幅压缩调度、访存与同步开销。具体优化覆盖三层:

  • 推理引擎层:针对GLM架构重写核心推理路径,提升单卡吞吐;
  • 调度系统层:引入动态批处理、请求合并与KV缓存智能调度,降低高并发尾延迟;
  • 基础设施层:优化推理集群部署、网络链路与负载均衡策略,保障服务稳定性。

这种“编译期固化+运行时轻量化”的路径,已成为当前大模型推理加速的重要方向之一。类似思路亦见于Meta的LLaMA-Factory、NVIDIA的TensorRT-LLM等方案,但智谱将其应用于生产级API服务并实现近500 TPS的持续输出,在国内厂商中尚属领先。

值得关注的是,社区已开始将GLM-5.3-Highspeed与OpenCode平台9月上线的匿名模型Omen Alpha关联讨论。部分用户推测Omen Alpha即为此高速版,或为其变体(如GLM-5.3-Omni、GLM-5.4-Flash)。尽管官方尚未确认二者关系,但Omen Alpha同样表现出异常高的推理效率,侧面印证智谱在高速模型方向上的持续投入。

从应用场景看,超高推理速度对代码生成类任务价值突出。一个典型Coding Agent任务往往需数十轮模型调用——若单轮响应延迟从2秒降至0.5秒,整体任务耗时可压缩75%以上。当模型能以近500 TPS持续输出时,1万token的长文本生成仅需约20秒(不含预处理与传输时间),极大改善开发者交互体验。用户输入需求后,函数骨架、接口定义与调用链可近乎实时展开,真正实现“边理解、边生成、边迭代”的闭环工作流。

需要强调的是,当前490 tokens/s为灰度环境下的实测值,尚未代表正式上线后的SLA承诺。ZCode作为垂直场景工具,其调用模式(如短上下文、高频小请求)可能更利于发挥高速模型优势;若未来该模型开放至通用API或企业私有化部署,实际性能或受负载类型、硬件配置、网络抖动等因素影响而有所浮动。

此外,模型命名中的“Highspeed”并非首次使用。自GLM-5.1起,智谱已形成“基础版+高速版”的双轨策略,既保障通用能力,又满足低延迟高吞吐场景需求。这种策略与Anthropic的Claude 3.5 Sonnet(标准)与Claude 3.5 Haiku(极速)的定位逻辑趋同,反映大模型厂商正从“单一旗舰”转向“多模态能力分层供给”。

行业层面,推理速度正成为继参数量、上下文长度之后的新竞争维度。随着MoE架构普及与稀疏激活技术成熟,模型规模增长边际效益递减,而推理效率提升直接转化为成本下降与用户体验升级。据麦肯锡2026年Q3报告,头部云厂商中已有68%将“推理延迟优化”列为年度重点KPI,其中32%已设立专职推理引擎团队。

智谱此次动作虽低调,却释放明确信号:在通用大模型能力趋近收敛的当下,工程化落地效率将成为差异化关键。GLM-5.3-Highspeed若能稳定维持450+ tokens/s的输出能力,将在AI编程、长文档生成、实时对话等场景建立显著响应优势。

目前该模型仍在ZCode内小范围灰度,用户可通过更新至3.15.1版本并检查模型列表尝试接入。随着测试推进,预计后续将逐步扩大覆盖范围,并可能配套推出定价策略与SLA说明。