网通社科技快报
开源工具honestly拦截AI测试幻觉 219会话中73条虚假声明被识别
AI编程助手常在未实际运行测试的情况下声称“4个测试全部通过”，形成隐蔽但高频的“测试幻觉”风险。为应对该问题，开发者Kenny Wu推出开源工具honestly，可在AI生成回复前自动核查其断言是否具备执行证据。该工具采用轻量级规则引擎，纯本地运行，不依赖大模型或API，仅使用Python标准库，数据不出设备。
honestly设两层校验机制：第一层在回复前扫描“测试通过”等关键词，反向检索本轮代码修改后是否执行对应命令（如pytest），并严格验证输出汇总行是否可见；第二层在命令执行前预审，拦截可能隐匿结果的操作（如pytest | grep -c "PASSED"）。规则强调证据可见性，例如允许pytest | tail但要求保留统计行。
实测中，对过去60天219个会话的73条被拒命令回放，新规则仅误拦3条，均属隐藏汇总行情形；优化后稳定拦截率约12条/会话，其中11条确无验证依据。工具支持Claude Code插件、pip安装及命令行集成，提供pr-note功能自动生成可追溯的PR描述。
外部数据显示，某团队在150个Claude Code会话的357条“测试通过”声明中，80条无实际执行记录。honestly旨在为AI补上“验证反射弧”，将自然语言承诺转化为可执行脚本证据，目前已MIT协议开源，鼓励用户提交真实误拦/漏拦案例持续优化。
honestly设两层校验机制：第一层在回复前扫描“测试通过”等关键词，反向检索本轮代码修改后是否执行对应命令（如pytest），并严格验证输出汇总行是否可见；第二层在命令执行前预审，拦截可能隐匿结果的操作（如pytest | grep -c "PASSED"）。规则强调证据可见性，例如允许pytest | tail但要求保留统计行。
实测中，对过去60天219个会话的73条被拒命令回放，新规则仅误拦3条，均属隐藏汇总行情形；优化后稳定拦截率约12条/会话，其中11条确无验证依据。工具支持Claude Code插件、pip安装及命令行集成，提供pr-note功能自动生成可追溯的PR描述。
外部数据显示，某团队在150个Claude Code会话的357条“测试通过”声明中，80条无实际执行记录。honestly旨在为AI补上“验证反射弧”，将自然语言承诺转化为可执行脚本证据，目前已MIT协议开源，鼓励用户提交真实误拦/漏拦案例持续优化。