OctaFuseGateway2.17.0更新上线,维护模式与请求日志汇总功能正式落地
OctaFuse Gateway 2.17.0 版本新增维护模式、请求日志多维汇总接口及 DashScope 语音路由拆分能力,提升网关运维效率与可观测性。后台界面同步优化模型对比、缓存命中率等指标展...
OctaFuse Gateway 2.17.0 版本已于近期正式发布,本次更新聚焦于系统稳定性保障、运维效率提升与路由精细化管理三大方向,核心新增维护模式、请求日志汇总 API 及 DashScope 语音服务适配器重构,标志着该开源 AI 网关在企业级部署场景下的成熟度进一步增强。
维护模式:可控的灰度停服机制
维护模式是本次更新最受关注的功能。用户可通过后台「系统 → 维护模式」入口启用该功能,开启后,所有新发起的推理请求(包括聊天、消息、图像、音频、向量、工具调用、MCP、Gemini 接口及实时 WebSocket)将统一返回 HTTP 503 状态码,并附带 Retry-After、X-OctaFuse-Error-Code: gateway.maintenance 与 X-OctaFuse-Maintenance: 1 头部信息。
关键设计在于:拒绝发生在鉴权之前,因此不会产生请求日志、不触发计费、也不消耗 RPM 配额,有效避免误操作带来的成本与资源浪费。提示文案支持中英文双语配置,可动态插入剩余分钟数 {minutes},并依据请求头中的 Accept-Language 自动切换语言。
值得注意的是,健康检查接口 /health 仍返回 200,且携带 maintenance: true 字段,确保负载均衡器不会将节点剔除;模型列表 /v1/models、用户信息 /v1/me、定价数据 /v1/tools/pricing 及目录接口 /catalog/* 均保持可读,便于运维人员在维护期间排查配置问题。已开始的流式请求不受影响,完成后按原规则记账。
配置层面,维护状态由 system_config.MAINTENANCE_MODE 字段控制,无需独立数据库迁移;各 Proxy 进程每 5 秒缓存一次配置,若读取失败则继续提供正常服务,保障高可用性。权限体系独立设置为 maintenance.read 与 maintenance.write,不包含在通用 config.* 权限组内。开启后,所有后台页面顶部将显示红色横幅提示,直观提醒操作人员当前系统状态。
请求日志汇总:从明细翻页到多维聚合分析
此前,管理员需逐页拉取请求明细日志以统计用量或排查异常,效率低下。2.17.0 新增 /api/admin/request-logs/summary 接口,支持按供应商(provider)、模型(model)、用户(user)、密钥(provider_key)、路由组(route_group)及状态(status)任意组合进行聚合查询,返回请求条数、Token 消耗总量与计费金额,并区分成功、失败、未完成与取消四类状态。
时间范围采用半开区间(毫秒级),默认限制为 31 天内;添加参数 include_labels=1 可额外返回用户邮箱、模型名、供应商名与密钥标签,便于业务侧归因。该功能依赖数据库迁移脚本 0033 的索引支持,旧版本网关调用将返回 404,建议客户端做兼容回退处理。
后台仪表盘同步升级:
- 供应商质量对比模块新增「有效首 Token 时间」(Effective TTFT),标注 R(推理)或 C(生成),悬停可查看正文、推理、有效值与覆盖率;无样本时显示“—”;
- 用户详情页下钻至模型维度时,新增缓存命中率、首 Token 时间与平均上游延迟,移除冗余的「平均计费/请求」字段,保留总额计费;
- 计费规则页支持展开各文本模型时段价格,包括「全部时段」与未命中窗口的「其他时段」;
- 路由列表支持自适应布局切换(表格/左右分栏/紧凑纵向),最大宽度 1280px;入口路径支持完整与省略模式切换,并记忆用户偏好。
语音路由拆分与目录补全:适配 DashScope 新能力
针对阿里云 DashScope 平台的语音服务演进,本次更新对路由适配器进行了结构性调整。原先统一使用的 dashscope-tts-speech 适配器被拆分为两类:
- 所有以
qwen-audio-开头的语音合成模型(如 Qwen-Audio 3.1)改用dashscope-tts-qwen-audio; - CosyVoice 系列仍沿用
dashscope-tts-speech; - 异步文件转写服务进一步细分为四个专用适配器:
Qwen3、Qwen-Audio、Fun-ASR与Paraformer; - 透传路由仍为
passthrough。
迁移脚本 0032 仅重写匹配新命名规则的记录,未匹配的 dashscope-asr-file-async 项保留在库中,需手动修改后方可继续使用。
此外,新版目录补充了 Kimi K3.1 Pro、Qwen-Audio 3.1 及网宿导入模板,已导入的模型与供应商配置不会被覆盖,确保平滑过渡。
在响应封装逻辑上,向量与非流式 JSON 响应会自动剥离上游的 Content-Encoding、Content-Length、Transfer-Encoding 与 Connection 头部;上游以 gzip 压缩返回的向量结果,以及调试台中常见的「Failed to fetch」错误,均按解压后的正文长度处理,提升计费与日志准确性。
行业背景与实际价值
OctaFuse Gateway 作为一款开源的 AI 服务代理网关,其定位介于企业内部 API 网关与 LLM 服务中间层之间,承担路由分发、协议转换、计费控制与安全隔离等关键职能。随着大模型应用从实验阶段走向生产环境,运维复杂度显著上升——高频调用下的故障隔离、跨厂商成本归因、服务降级策略等需求日益迫切。
本次 2.17.0 版本的维护模式,实质是将传统 Web 服务的「可灰度停服」能力引入 AI 网关领域。相比简单关闭服务,它允许在不中断监控与配置访问的前提下,精准阻断新请求流入,为紧急修复、配置变更或压力测试提供安全窗口。而请求日志汇总功能,则回应了企业客户对「成本透明化」与「用量可审计」的核心诉求,尤其适用于多租户 SaaS 场景下的分账与容量规划。
语音路由的精细化拆分,反映出平台级大模型服务商(如 DashScope)正加速产品线专业化,不同语音模型在延迟、音质、方言支持等方面差异显著,统一适配器已难以满足 SLA 要求。OctaFuse 的响应式调整,体现了其作为中间件层对上游生态变化的快速适配能力。
值得一提的是,该版本延续了 OctaFuse 一贯的轻量架构设计:无新增数据库表(仅依赖已有迁移),配置热加载,状态本地缓存,避免因中心化状态导致单点瓶颈。这种「低侵入、高弹性」的设计哲学,使其在中小团队与初创公司中具备较强落地优势。
目前,2.17.0 已开放下载,官方文档同步更新了维护模式配置指南与日志汇总 API 使用示例。对于已在生产环境部署 OctaFuse 的用户,建议结合灰度发布策略逐步升级,并提前验证路由适配器映射关系,避免因模型名变更导致语音服务中断。
