LLM用于医疗器械合规判定，14次重复请求12次结果漂移，确定性缺失成落地瓶颈

当大型语言模型（LLM）被引入医疗器械合规审查流程时，一个看似技术细节的问题正成为落地的关键障碍：同一个评审请求，反复提交，答案是否一致？

GFLOPS公司研究员Ryosuke Suzuki在arXiv预印本论文《Making every stage of medical device document assessment with large language models deterministic》（编号2610.21300）中，将这一问题推向实证极限。研究团队构造了70个基于FDA公开血糖仪510(k)文件的合规评估任务，以字节完全相同的输入，分别发送给7个主流模型、3家云服务提供商、6条调用路径构成的14个商业LLM部署端点，连续两天、每日重复5次，总计700次请求。

结果令人警醒：14个部署无一能在全部700次请求中保持输出一致；其中12个系统在“满足/不满足/无法判定”这一核心标签上发生变动；更隐蔽的是，即使标签未变，所引用的原文段落位置、引文字符串也频繁变更——这种“证据漂移”比标签翻转更具破坏性，因为它让审计人员无法判断差异源于模型抖动还是真实内容变更。

该研究并非质疑LLM能力本身，而是聚焦于合规场景对确定性的刚性要求。医疗器械行业受ISO 13485、21 CFR Part 11及欧盟MDR等法规约束，明确要求质量记录必须“可核查、可追溯”，且系统应能“辨别无效或被篡改的记录”。任何一次输出波动，若无法归因于输入变更或配置调整，即构成记录完整性风险。在十年保存期的审计压力下，“大概稳定”等于没有稳定。

值得注意的是，论文设定的LLM角色极为保守：仅负责从专家定义的评估项（如“每台血糖仪在每个水平至少测10次”）出发，从文档中检索证据并生成初步判断——标签、理由、原文引述三要素。最终决策权仍在人类专家手中。即便如此，输出不确定性仍足以瓦解整个证据链基础。

商业API为何难以做到确定性？原因在于其黑盒部署架构：浮点计算受批处理（batching）策略影响；嵌入与向量检索随数据库更新漂移；硬件层（GPU型号、驱动、CUDA版本）与软件栈（推理框架、量化方式）对用户完全不可见。多家供应商公开承认，“seed为尽力而为”，“temperature=0不等于完全确定”。此前有研究测试五家API，在temperature=0下重复请求，字符级完全一致率平均仅22%。

作为对照，作者搭建了一条开源可控的评估流水线：采用Gemma 4 31B（FP8量化），通过vLLM的batch-invariant推理模式（确保输出与请求分批方式无关），部署于单张RTX PRO 6000显卡。在经历换机、高并发、进程中断重启、跨日运行等严苛扰动后，该系统实现了全链路字节级一致——从OCR识别、文本分块、向量检索到最终推理输出，每一环节均可复现。

这一对比揭示了一个关键认知转变：复现性不是模型的属性，而是部署方式的属性。模型权重本身可能具备确定性潜力，但一旦封装进黑盒服务，其行为便受制于不可控的工程变量。

当前医疗器械合规自动化实践多依赖第三方LLM API，因其开箱即用、无需维护基础设施。然而，当系统输出成为质量记录的一部分，且需经受监管机构回溯查验时，这种便利性代价高昂。例如，某企业将LLM生成的“符合性声明”存入电子质量系统，一年后审计员发现同一文档的两次评估结论不同，若无法证明是人为修改而非模型随机波动，整套质量体系可信度将被动摇。

该问题并非孤立存在。在更广泛的医疗AI应用中，类似挑战持续浮现：影像辅助诊断系统若每次推理结果微调，将影响临床决策一致性；药物说明书摘要生成若引文错位，可能误导医生用药。而医疗器械领域尤为特殊——其产品生命周期长（10年以上）、监管追溯严格、责任主体明确，对系统行为的可解释性与可复现性提出近乎工业级的要求。

值得强调的是，研究并未否定LLM价值，而是划清了“可用”与“合规可用”的边界。在低风险场景（如内部知识库问答、文档初筛），一定容忍度的波动尚可接受；但在涉及法规符合性判定、质量记录生成等关键节点，必须构建端到端确定性保障机制。

技术路径上，已有可行方案：采用开源模型+确定性推理框架（如vLLM batch-invariant、TensorRT-LLM determinism mode）、固定硬件环境、禁用动态批处理、全程启用校验哈希。成本虽高于调用API，但对于需长期存档、高频审计的合规流程而言，属于必要投入。

行业层面，监管机构尚未就AI辅助合规出具明确指南，但趋势已显。NMPA在2025年《人工智能医疗器械审评要点（征求意见稿）》中提及“算法输出应具备可重现性”，FDA的SaMD（软件作为医疗器械）框架亦强调“验证应覆盖系统行为稳定性”。未来，具备确定性保障能力或将成为LLM进入医疗器械合规领域的准入门槛之一。

对于正在探索LLM落地的医械企业，该研究提供了一套实操检验标准：在正式集成前，应对目标部署进行“70×14×10”级压力测试——即70个典型任务、14种部署配置、每项10次重复，重点监测标签一致性、引文位置稳定性及全文字符级差异。若任一环节失守，即需重新评估技术路线。

LLM在医疗领域的价值毋庸置疑，但其真正融入质量管理体系的前提，是先通过“确定性”这道基本关卡。否则，再强大的推理能力，也可能在十年后的审计现场成为企业的风险源。