Anthropic提出八步评测法应对AI智能体“越改越差”困境，强调结果导向与非确定性管理

当一个AI智能体上线后，用户开始反馈“最近感觉它变笨了”，工程师修改提示词修复一个问题，却意外导致另一功能失效——这种“越改越差”的现象在行业实践中并不罕见。Anthropic在其工程博客《Demystifying evals for AI agents》中将此状态称为“flying blind”（盲飞），并系统总结了一套可落地的八步评测方法论，旨在帮助团队摆脱依赖直觉与手动复现的低效模式。

智能体评测与传统大模型输出评测存在本质差异。后者通常是对单轮输入-输出进行打分；而智能体需跨多轮调用工具、修改环境状态，错误会层层累积。因此，评测体系必须围绕五个关键要素构建：Task（明确定义输入与成功标准的任务）、Trial（因模型随机性需多次运行的单次尝试）、Grader（评分逻辑）、Transcript（完整交互轨迹，含工具调用与推理过程）以及最关键的Outcome（环境最终状态）。例如，订机票Agent声称“已为您订好”，真正判定成功的标准应是数据库中是否真实生成订单记录——“别信它说了什么，要看它做了什么”。

这一理念在实际案例中得到印证：Opus 4.5在τ2-bench的订机票任务中，发现政策漏洞并为用户争取到更优方案，按原评测标准被标记为“失败”，实则体现了更高阶的推理能力。这揭示了一个深层矛盾：评测标准若滞后于模型能力演进，反而会阻碍创新。

为何评测常被忽视？早期阶段依赖人工测试与经验判断尚可支撑快速迭代，但一旦进入规模化部署阶段，问题迅速暴露：无法提前覆盖数百种边缘场景；难以区分性能退化与随机噪声；新模型发布时，他人数日完成升级验证，己方仍陷于数周的手动回归测试。Anthropic自身开发Claude Code的过程即为例证：初期靠快速试错推进，后期才逐步为“代码简洁度”“文件编辑准确性”“过度设计倾向”等复杂行为补建评测体系。Descript与Bolt等公司也经历了类似路径——前者将视频编辑Agent的成功拆解为“不破坏原有内容”“准确执行指令”“高质量完成”三维度；后者在积累大量用户后，耗时三个月搭建起系统化评测框架。正如文中所言：“评测的成本是眼前的，收益是复利的，所以很容易被低估。”

在具体实施层面，Anthropic将评分器分为三类，各具适用边界：

代码评分器：包括字符串匹配、单元测试、静态分析与工具调用校验。优势在于速度快、成本低、结果客观，但对合理变体缺乏包容性；
模型评分器：基于评分细则、成对比较或多评委共识机制，灵活性强，适用于开放性任务，但存在随机性，需人工校准；
人工评分器：专家评审、抽检或A/B测试，被视为黄金标准，代价高昂且效率低。

最佳实践是组合使用：优先采用确定性规则处理可量化部分，必要时引入LLM辅助判断，最终以人工抽样校准整体偏差。同时，评测需区分两类目标：能力评测关注“它能做好什么”，通过率应从低起步，为团队提供清晰成长路径；回归评测则检验“以前会的还会吗”，要求通过率趋近100%。当某项能力评测稳定达标后，即可转入回归测试范畴。

不同类型的智能体需匹配差异化评测策略：

编码Agent最适合确定性检查，如SWE-bench Verified指标一年内从40%提升至80%以上，后续还可延伸评估代码质量与工具使用合理性；
对话Agent需综合考察结果状态（如工单是否闭环）、过程约束（如10轮内完成）及语气得体性，常需另一个LLM模拟用户角色；
研究型Agent无标准答案，须结合来源支撑度（groundedness）、关键事实覆盖率与权威性进行多维交叉验证；
电脑操作Agent必须在真实或沙盒环境中运行，直接检查后端状态变更，而非仅依赖前端界面反馈。

最容易被忽视的风险来自非确定性。同一任务下，Agent本次成功、下次失败的情况极为常见。Anthropic建议采用两个关键指标量化稳定性：

pass@k：k次尝试中至少成功一次的概率，适用于“一次成功即可”的后台任务；
pass^k：k次全部成功的概率，适用于面向用户的高可靠性场景。

举例而言，单次成功率75%时，连续3次全成功的概率仅为约42%。对于客服类Agent，用户期待的是“每次都靠谱”，而非“偶尔很厉害”。这一认知转变直接影响评测设计重心——从追求峰值表现转向保障服务稳定性。

基于上述分析，Anthropic提炼出从零到一的八步路线图，其中前四步尤为关键：

Step 0：尽早启动。无需等待完备用例库，从真实线上失败案例中提炼20–50个简单任务即可作为起点。延迟建设评测体系，等于在对已上线系统倒推成功标准，成本陡增。

Step 1：聚焦核心任务。优先覆盖高频、高影响场景，避免陷入“全面覆盖”的误区。任务设计应明确输入、预期输出与判定依据。

Step 2：构建基础评分器。初期以代码评分器为主，确保关键路径可自动化验证；同步准备模型评分器用于开放性环节。

Step 3：纳入非确定性考量。为每个任务设定pass@k与pass^k阈值，并在报告中分离展示平均成功率与稳定性指标。

后续步骤涉及轨迹记录完整性、人工校准机制、回归测试自动化及持续迭代闭环。整个流程强调“以终为始”：所有环节围绕最终环境状态Outcome展开，而非中间语言输出。

当前行业正从“能跑通”迈向“可靠可用”的阶段。智能体不再仅是技术演示品，而是嵌入业务流的关键组件。在此背景下，评测体系已非可选项，而是产品成熟度的核心标尺。Anthropic的方法论价值不仅在于提供操作步骤，更在于重塑评估思维：将智能体视为一个与环境持续交互的动态系统，其价值由行为后果定义，而非语言表层的流畅度。

随着更多企业进入Agent规模化应用阶段，这套兼顾效率与严谨性的评测框架有望成为行业基础设施的一部分。未来竞争焦点或将从“谁的模型更强”转向“谁的智能体更可信、更可控、更可持续进化”。