手淘TEKO实现AI写验修自主闭环，判据与信号双柱支撑验证效率跃升

当AI编程助手能快速产出数百行代码时，一个更棘手的问题浮现：谁来验证这些代码是否真正正确？阿里巴巴淘天集团高级测试开发专家泠乐在2026年QCon上海大会的演讲中指出，当前AI编码的瓶颈已从“写得慢”转向“验不准”，而传统增加人力的方式无法根治——关键在于系统性缺失“判据”与“信号”两大支柱。

泠乐团队在手淘（手机淘宝）客户端研发中落地的TEKO系统，正是针对这一痛点设计的工程化闭环方案。其核心逻辑是：自主性 = 判据 × 信号，二者为乘法关系，任一趋零则整体失效。这一公式源于对100个AI生成用例的实测分析：环境搭建成功率60%、数据构造50%、执行40%、工具自动化率70%，综合可执行率仅为6.4%。这意味着绝大多数AI产出无法进入真实验证流程。

判据侧：让“什么算对”成为可传递的数据结构

传统需求文档难以直接转化为测试用例，但它是验收条件的天然来源。TEKO将质量保障左移，在研发链路中构建四级验收条件流水线：

• 需求文档 → 需求验收条件（如“用户点击收藏按钮后，商品状态应实时更新”）；
• 技术方案 + 基建规范 + 团队约束 → 技术验收条件（如“接口响应时间≤300ms，错误码需统一归类”）；
• 代码diff + TBContext7上下文（改了什么/影响了谁/意味着什么） + 领域知识 → 风险点与配套用例；
• 构建产物 → 单测 / 白盒 / UI自动化用例。

最反直觉的设计是将验收条件“回喂”至生码环节——即AI原生的TDD（测试驱动开发）。例如，当AI生成一段购物车逻辑时，系统会主动注入“商品数量变更后，总价必须同步刷新且精度保留两位小数”的判据约束，而非仅依赖“能否编译通过”。该机制使AI产出的修复策略解析成功率从80%提升至99%以上。

为保障判据生产线稳定运行，TEKO采用Session-Stage编排模型，支持五路并行任务调度，并引入多Agent容错机制。所有操作全程Trace留痕，配合两层评估体系（规则校验+人工抽检），确保AI行为可追溯、可干预。

信号侧：把App从交付物改造为可编程环境

AI无法像人类一样“看到屏幕、点击按钮、复现状态”，这是信号缺失的根本原因。TEKO的解法是重构终端环境的“物理法则”：将App从“仅面向人的交付物”，转变为“可被Agent寻址、观测、驱动、复现的可编程环境”。

具体实施包含三层信号能力：

工程实践中面临三大取舍：一是控制侵入边界，避免过度修改业务代码；二是坚持“结构优先、视觉兜底”原则——优先依赖DOM结构与语义标签，而非图像识别；三是实现会话解耦，使Agent指令与执行结果独立传输，提升容错性。

尤为关键的是可测性治理。团队提出L0→L5成熟度阶梯模型：L0为不可测（无日志、无埋点）、L1为基本可观测、L2支持局部自动化、L3实现关键路径闭环、L4覆盖全链路、L5达成“无需人工介入即可完成回归”。目前手淘核心模块已达L4级，线上Crash与舆情反馈可自动转化为回归用例，形成负向信号→用例库的反向飞轮。

闭环效果与现实代价

TEKO已在手淘三端（iOS、Android、鸿蒙）全面落地，取得以下量化成果：

• 用例覆盖率达100%（含历史遗留模块）；
• 单次需求分析平均耗时12分钟（原需2–3人日）；
• 自动入库用例超1.5万个；
• Agent操作成功率96%；
• 性能报告生成从10人日压缩至1人日。

但泠乐也坦承挑战犹存：鸿蒙生态适配仍存在SDK兼容性短板；初期运营成本较高，需持续投入可测性改造；组织层面存在“质量左移”带来的职责重分配阻力——测试工程师角色正从“执行者”转向“判据设计师”与“信号架构师”。

对比行业其他尝试，如W3Cschool倡导的“Vibe Coding”本地闭环实践（强调人工确认每一步验收），TEKO的差异在于其深度嵌入生产环境、依赖真实终端行为数据、并实现全链路自动化。后者适用于教学验证，前者则面向亿级DAU产品的质量保障刚需。

值得延伸思考的是，类似思路已在其他领域显现雏形：天津电建的“实测实量智能应用”同样构建了“测量→检查→整改→复查→通过”闭环，通过智能设备替代人工记录，将合格率统计从经验判断变为数据驱动。尽管场景不同（工程质检 vs 软件研发），但底层逻辑一致——质量闭环的本质，是将隐性经验显性化、将离散动作结构化、将人工反馈信号化。

TEKO的实践表明，AI Native时代的质量工程不再是“加人加工具”，而是重构研发链路中的信息流与反馈环。当判据能前置、信号可触达，AI才真正具备从“生成”到“修正”的完整自主能力。这不仅是手淘的工程突破，也为整个移动互联网行业的AI协同研发提供了可复用的方法论框架。