斯坦福审计发现TerminalBench三成任务缺陷 修复后模型准确率平均提升10.3%

斯坦福大学Ré研究组近期对主流AI智能体基准Terminal-Bench 2.0开展系统性审计，发现89个任务中28个（占比31%）存在实质性缺陷，主要归为三类：指令与验证逻辑冲突、任务因外部环境变化发生漂移、以及分配的CPU/内存/时间预算不足。团队据此推出修复版Terminal-Bench 2.1，并建立一套仿照软件工程的持续维护流程，包括证据收集、审计评估、验证复核与人工发布四阶段，其中引入‘验证agent’重跑参考解法以提升检出可靠性。修复后，在19个主流智能体测试中，整体准确率平均提升10.3个百分点，个别模型榜单排名跃升最多3位。深入分析显示，57%的原始失败案例实为超时导致——如Claude Code超时率达68%，放宽时间预算后，不同框架间约20个百分点的性能差距基本消失；另有18%的参考解法因内存不足失败，凸显评估需区分能力上限与执行限制。该研究首次将‘基准维护债务’概念工程化，指出静态基准难以抵御动态环境与模型演进带来的腐烂效应，呼吁将基准视为‘活的软件系统’纳入CI/CD流程。目前Terminal-Bench 2.1及配套工具链已开源，团队倡导社区共建可信评估基础设施。