多Agent生产观测实践，浙大开源ageval解决评测适配难题

在人工智能领域，多Agent系统的开发与部署正成为重要趋势。然而，在实际生产环境中，这类系统常面临诸如"基础设施全绿但用户仍获空回复"等棘手问题。为解决这一痛点，浙江大学ZJU-REAL团队于2026年9月11日开源了名为ageval的Agent评测底座，旨在为开发者提供一套完整的多Agent生产观测解决方案。

ageval的核心创新在于其彻底解耦的设计理念。通过将待测Agent与运行环境封装为标准插件，开发者仅需修改配置文件中的一行代码，即可在不同环境（如Docker、E2B、Daytona等）和Agent运行时（如Claude Code、DeepSeek dsh等）之间自由切换同一份测试数据集。这种设计不仅避免了重复编写适配代码的繁琐工作，还确保了评测结果的可复现性。

在具体功能实现上，ageval提供了多层次的支持。首先，其本地轻量复盘功能允许开发者逐轮回放Agent的实际执行轨迹，包括环境准备、任务循环和评分等各个阶段的精确耗时。通过清晰展示Agent输入、工具调用、终端输出与模型回复等交互事件，开发者可以快速定位问题所在。其次，ageval的插件中心支持灵活组合各种环境与Agent运行时，开发者只需在profiles.yaml配置文件中调整对应声明，原有数据集无需任何改动即可直接运行。

此外，ageval还构建了一个公开榜单（Leaderboard），所有成绩均明确绑定具体的Agent运行时版本与执行环境。这使得开发者可以横向对比不同配置下的性能表现，无论是更换底层沙箱还是调整工具调用策略，都能获得直观的资源消耗与得分变化数据。

"以往评测一个Agent需要重写适配脚手架，跑完后也往往只能得到一个笼统的分数，"ageval项目负责人表示，"我们希望通过这套工具，让开发者能够像使用通用软件一样轻松进行Agent评测，同时获得更详细的反馈信息。"

目前，ageval已在GitHub上开源，其CLI工具和技能包支持coding agent自主编写benchmark、迁移已有测试集并执行自动化评测。随着越来越多的开发者加入，ageval有望成为多Agent系统评测领域的标准工具之一。