九条ES|QL查询揭示FoundryAgent词元消耗去向,Elastic仪表板实现成本与性能可视化

通过九条 ES|QL 查询与可导入的 Kibana 仪表板,开发者可在 Elastic 中集中分析 Microsoft Foundry Agent 的词元成本、工具调用延迟、失败追踪片段及调用者分布。...

人工智能 阅读量: 2997

Microsoft Foundry 平台上的 AI Agent 正在被越来越多企业用于自动化任务处理,但其运行过程中的资源消耗——尤其是大语言模型(LLM)的词元(token)开销——长期缺乏透明度。近期,Elastic 工程师 Greg Crist 提出一套基于 ES|QL 查询与 Kibana 仪表板的解决方案,通过九条核心查询语句,将原本分散在不同系统中的追踪数据整合为可视化的成本与性能视图,首次实现了对 Foundry Agent 词元消耗路径的系统性拆解。

该方案的核心在于利用容器内追踪(In-container traces)数据。当用户部署托管型 Foundry Agent 时,其运行环境为一个自定义容器,其中包含用户编排逻辑。通过对该容器代码进行 OpenTelemetry 插桩,可捕获 Agent 发起的每一次模型调用与工具调用事件,并将这些追踪片段通过标准 OTLP 协议发送至 Elastic。值得注意的是,这些数据并非来自 Foundry 服务端默认生成的服务器追踪(server-side traces),后者仅存于 Azure Application Insights,且默认不导出至第三方平台;也非客户端追踪(client-side traces),后者仅覆盖调用方发起请求的环节,止步于 Agent 边界。只有容器内追踪能完整记录 Agent 内部行为链路,是实现深度可观测性的关键数据源。

如图所示,Kibana 仪表板整合了多个维度的聚合指标:左侧折线图展示按模型划分的词元使用量趋势,其中 gpt-4o-mini 与 gpt-4 明显占据主导;中间柱状图呈现各模型的预估成本(单位为美元),gpt-4o 以 $5.97 高居榜首,gpt-4-1 为 $8.99;右侧表格则列出耗时最长的工具调用实例,第95百分位延迟达10秒的工具直接拖累整体 Agent 延迟至13.1秒。下方还统计了失败追踪片段的错误类型分布,共79次失败涉及 rate_limit_exceeded、TimeoutError、content_filter 等五类问题,为故障归因提供直接线索。

这九条 ES|QL 查询语句构成了仪表板的数据基础。例如,一条典型查询用于识别“首次调用新工具”的行为:

该语句通过聚合 gen_ai_operation_name 字段,可快速定位哪些操作属于新增工具调用,从而触发告警或审计流程。另一条查询聚焦于成本归因,按 attributes.user.id 分组统计总花费,明确回答“谁的调用推高了账单”这一运维常见问题。所有查询均作用于 traces-generic.otel-default 数据流,该数据流由 Elastic 接收的 OTLP 追踪自动写入,无需额外配置收集器——只需在 Foundry Agent 启动时设置两个环境变量即可完成接入,大幅降低部署门槛。

需要强调的是,Elastic 与 Agent 365 在数据流向中扮演互补角色。Agent 365 是微软为 Foundry Agent 设计的治理控制平面,接收相同追踪片段后,主要用于身份认证、权限管理与安全审计,其数据经脱敏与聚合后供 Microsoft Purview、Defender 等平台调用;而 Elastic 则专注于原始追踪的高性能存储与多维分析,二者共享同一管道但目标迥异。例如,Agent 365 可回答“哪些用户拥有该 Agent?它被授权执行哪些操作?”,而 Elastic 回答“该 Agent 本周消耗了多少词元?哪个工具导致延迟飙升?”。这种分工使开发者既能满足合规要求,又能深入优化性能。

在实际测试环境中,该方案已验证可处理约605次 Agent 运行产生的3,000余个追踪片段。示例数据显示:某工具的第95百分位延迟为10秒,直接导致 Agent 整体第95百分位延迟升至13.1秒;79次失败中,rate_limit_exceeded 占37次,TimeoutError 占21次,表明限流与超时是主要瓶颈。这些发现无法通过单次运行的瀑布图(waterfall trace)获知——后者仅适用于调试单次请求,而聚合分析才是规模化运维的必需能力。

ES|QL 查询编辑界面与结果列表

当前,AI Agent 的落地正从“能用”转向“好用”,其运维复杂度远超传统微服务。传统 APM 工具难以解析 LLM 调用链中的提示词长度、输出词元数、工具响应时间等关键指标,而 Elastic 方案通过标准化 OpenTelemetry 属性(如 gen.ai.prompt_tokens、gen.ai.completion_tokens、gen.ai.operation_name)实现了结构化采集。这不仅适用于 Foundry,也为其他基于 LangChain、LlamaIndex 等框架构建的 Agent 提供了可复用的可观测性范式。

值得指出的是,该方案仍存在局限:它依赖用户主动在容器中注入 OpenTelemetry SDK,若未插桩则无法捕获内部行为;同时,服务端追踪(如 Foundry 自身生成的 workflow trace)尚未纳入分析范围。未来随着 OpenTelemetry 社区对 AI 特定语义约定(Semantic Conventions for AI)的完善,此类监控有望进一步自动化。

文章配图

对于正在评估或已部署 Foundry Agent 的团队而言,这套九条查询+仪表板组合提供了一种低成本、高实效的监控路径。用户既可立即开启 Elastic Cloud 免费试用,也可在本地机器部署验证。在 AI 成本持续攀升的背景下,清晰掌握词元消耗去向,已成为保障 Agent 经济性与稳定性的必要前提。