LLMAgent在资产验收中的工程化实践，动态规则、质量闭环与确定性交付

在企业财务与资产管理流程中，资产验收曾是典型的“人肉 bottleneck”环节：财务人员每月需处理数百份验收单，每单附带25页PDF合同、扫描件、印章图片等非结构化材料，需人工核对甲方主体、数量约定、落款公章、费用期间等数十项要素。这类任务具有三大天然难点——费用类型繁杂、流程规则动态变化、单据数据量大且高度非结构化。传统规则引擎在此失效：规则调整需走完整开发-测试-发布周期，响应滞后；更关键的是，程序无法理解PDF、图像中的语义信息，而业务规则本身（如“合同甲方须与验收单主体一致”）正是自然语言表达的判断逻辑，恰为大语言模型所擅长。

由此，一套以LLM Agent为核心的智能验收系统被构建起来：让模型负责“读懂材料、执行比对”，工程系统负责“流程编排、质量保障、行为可追溯”。规则不再硬编码进程序，而是以文本形式配置化下发，业务人员可直接编辑提示词，实现“规则即配置”。

系统架构由两个核心服务协同完成：资产管理系统发起请求，Agent系统秒级返回“已受理”，后台异步执行解析与判定，完成后回调结果。这一设计规避了分钟级LLM推理对审批主流程的阻塞。为保障可靠性，系统引入多重工程保障机制：以“审批实例+财务节点轮次”构造幂等批次号，防止加签、重试、退回再提交导致重复触发；失败任务同步落盘明细行，查询侧设置懒超时兜底，避免任务悬停；线上、试跑、回测三类流量共用同一提交-回调链路，仅靠上下文区分，新流量模式零成本复用基建，且完全隔离互不干扰。

值得注意的是，Agent对图片与文本采用独立通道处理：OCR识别图像附件后提取关键字段，文本类材料（如合同正文）直接输入模型，既降低token消耗，又提升识别准确性。这种双通道策略在实际运行中显著提升了长文档处理的稳定性与效率。

然而，将规则交由LLM执行，最大挑战在于如何确保判定质量可控、可验证、可持续迭代。毕竟，规则版本的每次修改都直接改变线上行为，若无严谨的质量闭环，业务方不敢轻易调整。

该系统的质量体系围绕“反馈→试跑→回测→发布门禁”四层构建。其起点是用户反馈：审批人在复核AI结果时，可对每条判定标注“认可”或“不认可”，后者需填写文字原因。系统自动记录两份快照——当时的AI判定结果与生效规则版本，并据此推导出“标准答案”：认可则标准答案=原判定；不认可则取反（通过↔拒绝）。这些反馈数据成为后续质量评估的黄金基准。

试跑功能是业务人员调试规则的核心入口。管理员可选取历史或在途验收单，指定时间范围与费用类型，发起草稿规则的模拟执行。系统重建完整上下文（单头、明细、附件、合同），让“草稿版”与“当前生效版”并行运行，结果落于独立旁路任务，不触达真实审批流。试跑结果支持新旧版本并排对比，自动计算一致率，并结合用户反馈给出是否建议发布的建议。

回测则面向正式发布前的最终验证。线上流量在每次验收时自动沉淀“重放快照”（上下文+规则版本），形成可复现的历史样本池。结合用户反馈，样本按“AI判定 × 人工标准答案”划分为四类：真阳（通过/通过）、真阴（拒绝/拒绝）、假阳（通过/应拒绝）、假阴（拒绝/应通过）。其中，假阳与假阴是规则优化的重点对象——新规则是否修复了历史误判？是否又引入新的错误？为此，系统采用分层抽样策略，避免简单样本主导测试结果。

回测通过需同时满足两个阈值：数量阈值（带人工标注的有效样本≥配置下限）与质量阈值（一致率≥90%）。规则版本的发布被严格门禁控制：仅当回测状态为“通过”或“试跑替代通过”时，方可常规发布；其余状态仅允许权限用户走强制通道，全程留痕。任何对草稿的编辑都会自动重置回测状态，从源头杜绝“边改边发”的风险。

这一质量闭环的设计逻辑，与企业级Agent可靠性建设中的“本体论”思路高度契合。补充资料指出，大模型进入企业后常因缺乏统一对象定义、关系建模与规则结构化而失准。例如，运维Agent知道“应用变慢可能与数据库有关”，却不知具体部署在哪、依赖哪个库、谁负责处理。而本体论通过明确定义对象（如工单服务）、属性（负责人、环境）、关系（部署于、依赖）、规则（生产变更需审批），为Agent提供可推理的上下文框架。

在资产验收场景中，虽未显式构建本体库，但系统隐含实现了类似能力：通过结构化提取合同中的“甲方主体”“金额”“期间”等字段，将其与验收单头字段关联比对；通过OCR识别公章位置与形态，与“需加盖供应商公章”等规则进行语义匹配。这本质上是在业务语境下构建轻量级本体——将非结构化材料中的关键实体及其关系显式化，使LLM的判断建立在可验证的事实基础上，而非纯文本联想。

从效果看，该实践并非追求100%自动化替代人工，而是重构人机协作边界：AI承担重复性高、规则明确的初筛工作，人工聚焦于复杂例外与最终复核。用户反馈数据显示，系统上线后初审通过率提升约35%，财务人员平均单耗时下降60%，且规则迭代周期从周级压缩至小时级。更重要的是，质量可度量、过程可追溯、变更可回滚，使智能验收从“黑盒尝试”变为“确定性工程”。

当前，LLM Agent在企业落地的普遍困境仍是“可用不可控”：模型输出不稳定、规则变更无保障、错误难以归因。该案例的价值在于，它没有停留在Prompt Engineering层面，而是将LLM作为能力组件，嵌入一套成熟的工程化质量治理体系中——用确定性工程驾驭非确定性模型，这或许是通往规模化落地的关键路径。