大模型98%任务成功率连跑20次仅剩66.76% 可靠性账本重算揭示落地瓶颈

近期多家机构公布大模型可靠性数据：n8n Labs的Nod框架在226个跑腿任务中达成98%完成率（678次运行完成664次），智元LIFE将FindingDory查询成功率从37.5%提升至65.8%，Terminal-Bench 2.0榜首为82.70%，具身智能领域星动纪元分拣达1500件/小时、优必选U1 Pro实现12小时无故障运行。但这些指标因分母定义不同难以直接比较——Nod的98%是任务级完成率，非单步成功率，且明确标注“不代表每项产品要求均通过”。数学上，独立事件概率相乘导致失败累积：98%成功率连做20次，全成功概率为0.98²⁰≈66.76%；82.70%连做20题仅2.24%；65.8%连做10件剩1.52%；37.5%连做5件跌至0.74%。反推可知，20次连跑整体成功率≥90%需单次达99.4746%，即失败率须从2%压至0.5254%。行业正区分“任务完成”与“合规完成”，后者要求无越权、无泄露、无记忆污染；Nod记忆召回率93.2%反映长期一致性挑战。重试机制虽可提升表观成功率（如失败率2%时重试一次达99.96%），但消耗资源且无法修复越权等不可逆错误。当前工程路径聚焦两类：一是将单次成功率推至99.5%+，依赖提示优化、工具约束与验证器；二是构建可观测失败捕获体系，实现快速定位与人工介入。评测共识强调：“真正卡住上生产线的不是那个98%，是失败有没有被看见。”