一句‘你好’消耗5671Token,Workrun团队追查Agent隐性成本的实践

开发者在Workrun平台中发现,简单问候语“你好,今天过得怎么样?”竟触发5671 Token消耗,引发对Agent系统隐性成本的深度排查。通过引入Langfuse观测工具链,结合OpenTelem...

人工智能 阅读量: 6995

当用户输入一句日常问候“你好,今天过得怎么样?”,系统返回正常响应,但后台统计却显示消耗了5671 Token——这一异常数据成为Workrun团队深入排查Agent隐性成本的起点。

在理想设计中,Workrun的主Agent应作为统一入口:理解用户意图后,自行回答常规问题,需调用工具时交由工具Agent,需复杂流程则转给规划与编排Agent。整个过程对用户透明,仅呈现一个输入框。然而,实际运行中的资源开销远超预期,尤其在无明确任务请求时仍产生高Token消耗,暴露出系统内部决策逻辑与上下文管理的潜在低效。

最初,团队怀疑是提示词(prompt)过长所致。复盘确认该推测部分成立,但问题本质更深层:模型被过度卷入决策环节,且系统向模型传递的信息粒度过粗。例如,一次用户交互可能触发多次模型调用,而每次调用都重复携带历史对话、工具定义乃至完整Workflow结构,导致上下文持续膨胀。

为定位具体瓶颈,团队并未放弃原有监控体系,而是增强其语义表达能力。此前已接入OpenTelemetry,通过Rust的tracing与ADK的OTLP Layer导出运行时信息,用于诊断函数级性能问题。但面对“单次模型请求为何输入如此庞大”的新问题,传统Trace难以还原完整消息流。

文章配图

关键转折在于引入Langfuse作为LLM观测后端。需要澄清的是,Langfuse并未替代OpenTelemetry,而是与其协同工作:前者负责接收并结构化解析OTLP数据,后者继续承担采集与传输职责。团队新增NativeAdapter模块,将原始模型请求(含messages、tools、config等字段)映射为Langfuse可识别的Generation事件,并补充角色、会话ID等元信息。

值得注意的是,观测本身也需要验证。早期曾因SDK调用提前结束,导致工具执行结果未被记录,造成Trace断层。后续调整将埋点前置至工具实际执行边界——先记录输出,再完成流程闭环,确保Trace完整性。这印证了一个经验:不完整的观测数据可能导致错误优化方向。

为验证改进效果,团队选取典型场景“订单取消:风险路由与回归评测”Workflow进行对照实验。一边在Workrun画布中查看流程定义与运行结果,一边在Langfuse中展开同一执行实例的Trace,逐层比对路径选择、风险判断依据、工具返回值如何注入后续上下文,以及各环节耗时与Token分布。

这一“还原式排查”揭示了隐性成本的核心分类、范围界定与专家委派——使其在每次交互中均加载大量冗余上下文。例如,即使用户仅发起闲聊,系统仍预载全部可用Skill、Workflow模板及权限校验规则,导致输入token激增。

Workrun观测链路变化图:从“Workrun/ADK → tracing+OTLP → 通用运行诊断”升级为“模型与工具实际执行边界 → 输入输出/用量/角色等信息补全 → tracing+OTLP → Langfuse”

基于上述洞察,团队对Agent架构进行了结构性调整。新方案采用分层路由机制:用户消息首先由原生Runtime检查确认状态;若为新请求,则交由Router判断类型——无业务工具与Skill时走Conversation Agent;需任务处理则转Task Agent;涉及Workflow则启动Planning Agent,并在必要时移交Workflow Agent执行。各Agent职责清晰隔离,避免单一模块过度承载。

重构后,系统不再默认为所有请求预载完整能力集。例如,纯对话场景仅注入基础人格设定与历史摘要,而非整套工具描述;Workflow执行前才动态加载相关节点定义。同时,工具调用结果以结构化方式注入后续上下文,而非全文拼接,显著降低上下文体积。

此类优化并非单纯追求Token下降,而是建立可解释的成本模型。团队强调:不能仅看总用量是否减少,必须结合回归评测确认功能完整性与路径正确性。一次成功的成本压缩,应表现为“相同输出下输入更精简”,而非“为降本牺牲能力”。

调整后的Agent架构图:用户消息经Runtime检查后分流至Router,再依conversation/workflow/task路径分发至对应Agent,最终由Workflow Agent统一回执

在当前Agent开发热潮中,许多系统仍沿用“全能型主Agent”设计,依赖大模型兜底处理一切。但Workrun的案例表明,这种模式在规模化部署时极易产生不可控的隐性开销。随着企业级应用对成本敏感度提升,可观测性正从辅助能力变为基础设施标配。

Langfuse等LLM专用观测平台的价值,正在于将黑盒推理过程转化为可追溯、可归因的操作日志。它不仅帮助定位单次调用的浪费点,更支撑长期架构演进——当每个Agent的输入输出、决策依据、上下文演化路径都清晰可见时,系统才能真正走向“按需调度、精准赋能”。

目前,Workrun已将该观测链路纳入标准开发流程。未来计划进一步整合成本预测模块,在用户发起请求前预估Token区间,并在超过阈值时主动提示或建议简化输入。这标志着Agent系统正从“能运行”迈向“可治理”的新阶段。