ElasticContextEngine将agenttoken使用量降低71%,提升查询效率

Elastic 公司推出的 Context Engine 技术通过提前构建数据上下文,显著降低了 AI agent 在查询企业数据时的 token 消耗。实验显示,使用该技术后,工具调用次数从 33 ...

人工智能

在人工智能应用中,AI agent 需要频繁访问企业内部的复杂数据系统以完成业务查询任务。然而,传统的 agent 在每次查询时都需要重新解析数据结构、字段含义以及实体间的关联关系,这导致了大量的 token 消耗和响应延迟。为了解决这一问题,Elastic 公司推出了 Context Engine 技术,通过提前构建和存储数据上下文,显著提升了 agent 的运行效率。

根据 Elastic 的测试结果,使用 Context Engine 后,agent 的表现发生了显著变化。在一个典型的业务查询场景中,当需要总结影响最大客户的因素时,未使用 Context Engine 的 baseline agent 需要进行 33 次工具调用,消耗 2,296,565 个输入 token,并且耗时 213 秒。而引入 Context Engine 后,同样的任务仅需 9 次工具调用,输入 token 数量降至 658,710,延迟时间缩短至 64 秒。更重要的是,Context Engine 还帮助 agent 发现了原本可能被忽略的关键关联关系,例如多个客户账户属于同一母公司的情况。

这种效率提升的背后,是 Context Engine 对数据源的预处理机制。它通过自动化流程读取原始数据(如 Elastic 索引、Google Drive 文件、Kibana API 数据等),并将这些数据转化为小型、结构化的上下文单元,存储在专用的 AI 索引中。当 agent 接收到查询请求时,可以直接从这些预计算的知识库中获取相关信息,而无需重新解析原始数据。这种方式不仅减少了 token 消耗,还避免了重复的数据发现过程,从而大幅提高了查询速度和准确性。

Elastic 的 Context Engine 基于 Elasticsearch 平台构建,充分利用了其强大的搜索和检索能力。每个阶段都被设计为一个搜索问题:首先通过自动化流程搜索并预计算知识,然后将这些知识存储在专门的 AI 索引中,并启用原生的混合搜索功能。这样一来,当 agent 需要回答问题时,可以直接从索引中获取所需内容,而不需要在原始数据中进行复杂的查找和推理。

这项技术的应用场景非常广泛。对于企业来说,它可以显著降低 AI agent 的运营成本,特别是在需要频繁访问大规模数据系统的场景下。此外,由于减少了 token 消耗,企业还可以更高效地利用现有的 AI 模型资源,提高整体系统的性能和可靠性。

Baseline agent vs Context-engine agent

值得注意的是,Context Engine 不仅仅是一个简单的数据缓存机制,它还具备自我改进的能力。通过反馈循环(Feedback Loop),系统可以不断优化上下文单元的质量和相关性,确保 agent 能够始终获取最准确的信息。这种自适应特性使得 Context Engine 在长期运行中能够持续提升 agent 的表现。

总的来说,Elastic 的 Context Engine 为 AI agent 的数据处理提供了一种全新的解决方案。它通过提前构建和存储数据上下文,显著降低了 token 消耗和响应延迟,同时提高了查询的准确性和完整性。随着更多企业开始采用 AI 技术来优化业务流程,类似的技术创新将成为推动行业发展的关键力量。