Agent伪进展检测难题,操作在变但结果始终失败,20轮调试零进展

当AI Agent持续修改代码、运行测试却始终无法通过时,表面看是‘积极工作’,实则陷入‘伪进展’陷阱——操作不断变化,但目标从未靠近。这类问题难以被传统循环检测机制识别,已成为大模型智能体落地中的关...

人工智能

在软件开发自动化任务中,一个AI Agent连续20多轮调用不同工具、修改不同参数、生成不同补丁,每次操作都看似合理:读取文件、编辑代码、执行测试。然而测试结果始终失败,错误数量在2与3之间反复震荡,从未归零。这种‘很努力但没用’的状态,被研究者称为‘伪进展’(Pseudo-Progress)。

图1清晰呈现了伪进展的四种常见形态:参数旋转(每次修改参数不同但均失败)、路径穷举(尝试所有分支仍全错)、工具切换(换着花样犯同一类错)、错误升级(错误从小变大但始终未解)。它们的共同特征是:操作在变化,结果始终是失败。这与传统‘死循环’有本质区别——死循环中工具调用完全重复,易被CycleDetector捕获;而伪进展因参数持续变动,绕过了现有检测机制。

文章配图

以一段真实执行日志为例:

轮次31:执行测试 → 失败(3个错误)

轮次32:修改query.py(patch_v1)→ 成功

轮次33:再次测试 → 失败(2个错误)

轮次34:修改query.py(patch_v2)→ 成功

轮次35:测试 → 失败(3个错误,与31不同)

……

轮次39:测试 → 失败(2个错误,与33相同)

从单轮视角看,Agent行为完全合规:它在响应反馈、迭代修正。但从全局看,它陷入‘打地鼠’式修复——修掉错误A,错误B浮现;再修B,A又回来。20轮消耗大量计算资源与token,却离‘测试通过’的目标毫无进展。

这一现象在SWE-bench评测任务中已有实证。例如django-11734案例中,Agent在错误的环境假设下盲目重试20余轮,每次修改不同、每次测试失败。直到ErrorStreak机制在L2阶段(连续6次错误后)触发策略重置,强制其跳出当前路径、重新反思问题本质,才最终在第196轮完成任务。

伪进展之所以危险,在于其高度迷惑性。用户看到Agent‘一直在动’,容易误判为‘正在收敛’,从而延长等待时间。相比之下,死循环因明显重复而易于察觉。更隐蔽的是,某些高价值场景中,伪进展甚至表现为跨模块协作失效——如Analyzer-Verifier循环:Analyzer每次输出不同分析报告,Verifier每次给出不同改进建议,两者均无重复调用,CycleDetector完全无法干预;但Verifier连续264小时拒绝批准,实质是系统级停滞。

如图2所示,当连续错误达0–2次时视为正常波动,允许一次成功重置;3次错误触发‘提示反思’,要求Agent检查自身假设;6次错误启动‘强制反思’,暂停执行并重建计划;9次及以上则直接终止流程,交由用户决策。数据显示,该机制使约30%–40%的卡滞Agent在干预后恢复有效推进。

进一步对比‘正常调试’与‘伪进展’的边界,可发现关键判据在于:失败后是否有策略调整的迹象。

ErrorStreak分级响应机制

图3左侧为典型正常调试路径:3次失败后1次成功,过程中包含‘分析错误日志’‘根据结果修改’等策略跃迁动作;右侧伪进展则呈现15次失败、0次成功,所有修改均为同质化修补,无任何方向性调整。边界判定的核心不是失败次数本身,而是失败是否引发认知层面的修正。

当前主流Agent框架普遍依赖‘操作唯一性’作为终止依据,例如LangChain的CycleDetector仅检测完全相同的工具调用序列。但在真实复杂任务中,Agent极少重复完全一致的操作——它会微调参数、更换工具、变换输入格式,从而规避检测。这暴露出一个深层矛盾:现有监控逻辑基于‘行为重复性’,而伪进展的本质是‘目标偏离性’。

行业实践中,伪进展已造成显著资源浪费。某企业内部测试显示,平均每个卡滞任务消耗超4.7万token,其中82%用于无效迭代;在长周期任务中,此类问题导致端到端成功率下降近35%。更值得警惕的是,随着Agent被部署至生产环境(如自动运维、金融风控),伪进展可能引发延迟交付或错误累积,其风险远高于显性死循环。

正常调试 vs 伪进展对比图

技术演进方向正从‘防重复’转向‘察偏离’。除ErrorStreak外,新兴方案包括:引入目标距离度量(如测试通过率趋势斜率)、构建错误语义聚类(识别‘同类错误反复出现’)、结合外部验证信号(如人工抽查片段)等。部分团队开始将‘策略变更频率’纳入健康指标——若10轮内无任何计划层级调整,即标记为高风险伪进展。

值得注意的是,伪进展并非Agent能力不足的体现,反而常出现在能力较强的模型上:它能生成多样化解法,却缺乏对问题根源的因果推理。这揭示了一个关键事实:多样性不等于有效性,探索不等于进步。真正的智能体应具备‘何时停止试错、何时转向反思’的元认知能力。

目前,该问题尚未形成统一标准检测方案,各开源框架仍处于各自探索阶段。但共识正在形成:单纯依赖操作日志的静态规则已不足以保障Agent可靠性,必须引入动态目标对齐机制。未来,伪进展检测或将与‘可信AI’评估体系深度整合,成为智能体上线前的必检项。

随着Agent从实验室走向工程化落地,如何识别并阻断这种‘看似努力实则空转’的状态,已成为决定其实用价值的关键一环。