网通社科技快报

Revolut自托管GLM模型推理成本降90% 企业AI转向智能控制层重构

英国数字银行Revolut近期披露其AI基础设施实践:为2000名工程师部署56块NVIDIA B200 GPU, 采用开源GLM模型作为默认编码助手, 混合推理成本降至0.30美元/百万Token, 较此前使用Anthropic或OpenAI API降低约90%。该成效并非源于简单替换模型或采购硬件, 而是系统性重构智能服务全链路——建立GLM日常辅助+闭源模型兜底的分层调用机制, 优化缓存策略、上下文管理与并行推理效率, 并将Agent深度嵌入查资料、读文档、处理工单等高频场景。

企业常误将自托管等同于‘买GPU自己跑’, 实则需独立评估六类交叉决策维度: 模型能力层(闭源/API/微调模型)、推理服务层(第三方API/专属实例/自建集群)、硬件资源层(云共享/租赁/自购)、业务数据层(区域驻留/零留存/物理隔离)、工作流与决策层(路由规则/权限网关/人工复核)、组织反馈层(失败样本收集/评估迭代/审计联动)。例如某企业可选用开源模型+专属云零留存+严格权限网关组合, 在保障安全前提下控本。

成本认知亦需升级: 真正ROI应以‘每个被业务验收通过的任务总成本’衡量, 包含模型调用、推理容量、运行系统、成功任务(重试/验证/返工)及组织战略五层支出。低价模型若合格率低, 综合成本反超高价高质模型。当前Agent已占开发者平台80% Token消耗, AI支出正从席位订阅转向按实际工作量计费。

腾讯专有云升级为‘全栈智能云’, 推出整合算力调度、模型服务与Agent管控的AI套件, 回应企业对异构算力调度、权限边界缺失与价值归因难的痛点。行业共识趋明: 自托管终极目标非拥有更多GPU, 而是构建可审计、可回退、细粒度授权的智能控制层(Harness), 动态分配资源、界定责任边界、持续验证业务价值。