14个LLM部署重复测试700次 12个出现合规判定漂移

GFLOPS公司发表arXiv论文（编号2610.21300），针对LLM在医疗器械合规评估中的确定性问题开展实证测试：以字节完全相同的输入，向7个主流模型、3家云服务商、6条调用路径构成的14个商业LLM部署端点，连续两天各5轮共700次发送70个基于FDA血糖仪510(k)文件的合规任务。结果显示，14个部署无一全程一致，其中12个在核心判定标签（满足/不满足/无法判定）上发生变动，引文位置与原文引用更频繁漂移——后者对审计更具破坏性。研究强调，医疗器械受ISO 13485、21 CFR Part 11及欧盟MDR约束，要求质量记录可追溯、可核查，任何非输入导致的输出波动即构成记录完整性风险。商业API因黑盒架构（批处理策略、硬件差异、数据库更新等）无法保障确定性，多家供应商承认“seed为尽力而为”，temperature=0不等于完全确定；此前测试显示五家API在该设置下字符级一致率平均仅22%。作为对照，作者搭建开源流水线（Gemma 4 31B+FP8+vLLM batch-invariant），在换机、高并发、重启等扰动下实现全链路字节级复现。研究指出，复现性非模型属性而是部署属性；当前第三方API虽便捷，但输出若作为质量记录存档，将面临十年审计风险。技术上可行路径包括开源模型+确定性推理框架+固定硬件+禁用动态批处理；监管趋势亦趋严，NMPA与FDA已提及算法输出需可重现。企业集成前应执行“70×14×10”级压力测试，确保标签、引文与全文稳定性达标。