VeriCUA验证智能体上线，计算机操作任务判定假阳性率降至基线四分之一

当一个计算机操作智能体（Computer-Using Agent, CUA）报告“任务已完成”，你是否真的相信它？在当前主流训练与评估体系中，这一判断往往依赖一次性的多模态模型打分或自动生成的验证脚本——但这些方法存在系统性盲区：界面显示“已保存”不等于文件真正落盘，截图里内容完整也不代表数据持久化成功。这种“看起来完成了”的假阳性样本一旦进入训练集，会直接污染强化学习奖励信号与监督微调数据，导致模型学会“表演式完成”。

为解决这一问题，Google 与香港大学团队于2026年10月提出 VeriCUA（Verification as Agent Exploration），将任务验证重构为一个主动探索、多源取证的智能体行为过程。其核心突破在于：验证不再是一个静态判分动作，而是一套具备环境勘察、标准制定、证据采集与可信度仲裁能力的闭环流程。

VeriCUA 的工作流分为四步。第一步是环境勘察：验证智能体在接收任务指令后，并不立即打分，而是先调用工具探测目标应用的实际结构——例如确认笔记内容存储于哪个本地目录、数据库表结构如何、是否存在隐藏状态标识等。这一步避免了传统方法中“凭空设定验收条件”的风险。例如，某科学软件并无“已保存”图标，若验证器仍将其设为硬性指标，必然误判真实完成的操作。

第二步是标准生成：基于勘察结果，验证器将原始自然语言指令转化为一份可执行的评分细则（rubric），明确列出 hard（必须满足）与 soft（辅助参考）条款。关键设计在于：所发现的证据存放位置仅作为取证路径，不被计入成功条件本身，确保验收标准始终锚定用户原始意图。

第三步是双通道取证：VeriCUA 同时启动 GUI 与代码两条证据链。GUI 工具负责分析录屏帧、放大关键区域、OCR 提取文本；代码工具则执行 17 类只读操作，如读取文件内容、查询 SQLite 数据库、调用系统服务接口等。二者覆盖不同层次的事实：动作日志证明“曾尝试编辑”，截图证明“界面当前呈现编辑后状态”，而文件读取才能确认“内容已写入磁盘”。单一通道验证必然遗漏其中一环，而 VeriCUA 的混合模式显著提升完整性。

第四步是证据仲裁：不同来源的证据按可信度加权整合。例如，若截图显示内容更新但文件未变更，则判定为“界面欺骗”；若文件已更新但界面未刷新，则归为“延迟渲染”。该机制支持线上模式将多个只读操作打包为“检查器”，实现高效批量验证。

在实验验证部分，VeriCUA 在包括 AndroidWorld、OSWorld 和 ScienceBoard 在内的五个标准基准上全面超越现有方法。其中最具警示意义的是假阳性率（False-positive rate）表现：在 ScienceBoard 上，自动生成验证脚本的假阳性率达 21.7%，因其对冷门科学软件缺乏认知，查状态全靠猜测；而 VeriCUA 因先勘察再验证，将该指标压至 5.4%，仅为前者的约四分之一。

更进一步的消融实验揭示了双通道协同的价值。在 AndroidWorld 中，仅依赖 GUI 检查（one draw）时准确率约 78%；加入视觉增强（two draws + vision）提升至 83%；而当结合三次 GUI 操作与底层状态核查（three draws + vision）后，验证通过率稳定在 90% 以上，且拒绝虚假完成报告的能力同步增强。

值得注意的是，VeriCUA 并非追求“绝对零误判”，而是通过可解释的证据链降低误判成本。其输出不仅包含“成功/失败”二元结论，还附带证据溯源路径——例如“文件 /data/user/0/com.example.notes/db/note.db 第 3 行内容匹配指令要求，但 UI 层无‘保存’提示”，这对调试智能体行为偏差极具价值。

当前，计算机操作智能体正加速走向实用化，从自动化办公到复杂软件交互，其可靠性直接决定落地可行性。然而，行业长期依赖的验证方式存在结构性缺陷：VLM 评委受限于输入视窗，自动生成脚本缺乏上下文感知。VeriCUA 的意义在于，它首次将验证本身建模为一个具备探索能力的智能体任务，使“完成判定”从黑箱评分变为白盒取证。

该方法对三类应用场景产生直接影响：一是评测基准建设，可提升 benchmark 成功率的真实性；二是数据筛选流程，避免“假装完成”样本污染 SFT 数据集；三是强化学习奖励设计，减少因假阳性导致的策略误导。论文作者指出，未来方向包括扩展至跨应用状态追踪、支持更多操作系统 API 接口，以及与智能体训练框架深度耦合，实现验证-反馈闭环。

VeriCUA 的开源实现与实验代码已随论文发布于 arXiv（编号 2610.40578）。随着 CUA 技术向高保真、强鲁棒方向演进，验证环节的精细化将成为下一阶段竞争的关键隐性战场。