98%成功率连跑20次仅剩66.76%，大模型重试的可靠性账本被重新计算

11月中旬，多份大模型系统可靠性评测结果集中披露：n8n Labs的Nod框架在226个跑腿任务上实现98%完成率；智元科技的LIFE框架在FindingDory基准中将查询成功率从37.5%提升至65.8%；Terminal-Bench 2.0榜单榜首达82.70%；具身智能领域，星动纪元分拣峰值达1500件/小时，优必选U1 Pro实现超12小时无故障运行。表面看，这些数字呈现积极进展，但若不厘清其统计口径与分母定义，横向对比极易产生误判。

首先需明确：98%不是单步成功率，而是任务级完成率。Nod的98%来自226个任务各运行3次，共678次运行中完成664次——即“一个完整跑腿任务（含多次点击、表单提交、权限校验等子步骤）最终达成目标”的比例。它并不意味着每一步操作都100%可靠，也不代表该任务在生产环境中能稳定复现。评测页特别注明：“98%仅表示任务完成，不代表98%的尝试通过了每一项产品要求”，并另设更严苛的“通过率”指标单独计分。同样，其“零越权动作”与“零注入攻击”均基于678次运行与1313个对抗任务样本得出，属于有限测试集下的结果，而非生产环境零风险承诺。

这种口径混淆在早期评估中普遍存在。曾有分析者误将98%当作单步成功率代入链式任务计算，得出20步任务成功率仅为66.76%的结论——这其实并非模型能力退化，而是独立事件概率相乘的数学必然。真正的关键在于：当系统需连续执行多个任务时，失败概率会指数级累积。

以具体数据为例：

若单任务成功率98%，连续执行20次全成功的概率为0.98²⁰ ≈ 66.76%；
Terminal-Bench 2.0榜首82.70%连做20题，全对概率仅2.24%；
LIFE框架65.8%成功率连做10件，剩余概率1.52%；
基线37.5%连做5件，已跌至0.74%。

这些数字揭示了一个常被忽视的事实：单次成功率提升带来的边际效益，在连续执行场景下急剧衰减。LIFE将37.5%提升至65.8%，看似接近翻倍，但在10件连做任务中，成功率仅从0.01%升至1.52%——仍远未达到“可自主运行”的阈值。这解释了为何实验室高分模型在真实产线中仍需人工兜底：不是模型不够聪明，而是失败的累积效应超出了容错边界。

进一步反推可知，若要求20次连跑整体成功率不低于90%，则单次任务成功率必须达到99.4746%——比98%高出1.4746个百分点。这意味着失败率需从2%压降至0.5254%，降幅达73.7%。而LIFE若想在10件连做中达到90%整体成功率，单件需达98.9519%，比当前65.8%高出33个百分点。

这一计算逻辑并非理论空谈，而是直指工程落地的核心瓶颈：可靠性不是“有没有失败”，而是“失败能否被及时检出并干预”。Nod强调“零越权”与“零注入”是样本结果，正说明其测试覆盖了安全边界；Terminal-Bench采用单道题完成率作为分母，反映的是原子级任务稳定性；而“12小时无故障运行”则是一次连续观测时长，隐含对异常中断的容忍度设定。

行业正在形成更精细的评估共识。例如，部分框架开始区分“任务完成”与“合规完成”：前者指目标达成，后者要求全程无越权、无信息泄露、无记忆污染。Nod的记忆召回率93.2%（基于LongMemEval-S 500题）即属后者范畴，表明长期交互中上下文一致性仍是挑战。具身智能的“1500件/小时”标注为“尝试次数”而非“合格件”，也提示效率指标需与质量指标解耦评估。

值得注意的是，当前公开数据多源于特定基准测试，与真实业务场景存在鸿沟。FindingDory的597个查询聚焦于复杂推理与工具调用，但企业级流程往往涉及跨系统API调用、状态持久化、异常回滚等更复杂链路。一个任务可能包含10个以上子步骤，任一环节失败即导致整体回退——此时单任务98%的成功率已不足以支撑可用性。

重试机制常被视作缓解方案，但其成本不可忽视。每次重试消耗算力、延长响应时间、可能加剧状态漂移。若单次失败率为2%，重试一次成功概率为1 - (0.02)² = 99.96%，看似提升显著，但实际意味着每50次任务就有1次需重试，系统吞吐量隐性下降。更关键的是，某些失败类型（如越权、数据污染）无法通过重试修复，必须依赖前置校验或运行时监控。

由此衍生出两类工程路径：一是提升单次成功率至99.5%以上，通过更严谨的提示工程、工具约束、验证器集成实现；二是构建可观测的失败捕获体系，使系统能在失败发生时快速定位、隔离并触发人工介入。后者在当前阶段更具实操性——正如评测页所言：“真正卡住上生产线的不是那个98%，是失败有没有被看见。”

近期行业动态亦印证此趋势。Claude团队用3天完成AMD芯片推理适配，推理成本降超40%，反映底层优化正加速；OpenAI三季度营收达100亿美元但净亏109亿，显示商业化与技术投入仍处磨合期；而黄仁勋卸任英伟达CEO、CFO暂代，或预示公司进入战略调整期，对AI基础设施的可靠性投入或将加码。

回到最初的问题：98%是否足够？答案取决于使用场景。对于单次交互型应用（如客服问答），98%已具实用价值；但对于需连续执行、强一致性的生产流程（如订单处理、金融审批、工业控制），必须将单次成功率推向99.5%+，或建立闭环的失败检测-干预机制。大模型的“重试账本”不再只是概率计算，更是工程成熟度的量化标尺——它提醒我们，通往自动化之路，始于对失败的坦诚计量。