AI助手工具调用轨迹可推断用户健康、宗教与住址,67950条记录实验证明隐私新风险
上海人工智能实验室联合多所高校发布研究,揭示AI Agent在合法调用外部工具时产生的轨迹数据(如地图、健康服务请求)足以被第三方推断出用户住址、慢性病史与宗教信仰等敏感信息。实验基于1000个虚拟用...
当用户让AI助手规划下周去伦敦的行程时,一句简单的提问背后,可能已悄然暴露了自己居住地、健康状况与宗教信仰——而这一切,发生在对话内容全程加密的前提下。
上海人工智能实验室AgentDoG团队联合电子科技大学、悉尼大学近期发表论文《工具调用能在多大程度上暴露你?来自工具调用轨迹的隐私泄露》,首次系统量化了AI Agent在调用外部工具过程中产生的“作业痕迹”所带来的隐私风险。研究构建了名为PrivacyTrace的基准测试框架,通过合成1000名统计特征贴近真实人口的虚拟用户,模拟其在旅行、健康、购物与职业学习四大场景下使用25个真实MCP(Model Context Protocol)工具的4,000条任务轨迹,共生成67,950条工具调用记录。
图中清晰呈现了这一过程:用户仅向Agent提出“规划通勤与办事路线”,Agent依次调用地理编码、公交查询、步行导航等工具,生成包含目的地坐标、出行时间、交通方式等参数的调用序列。观察者(如工具服务器或网关平台)虽无法看到原始对话,却能从这些看似中性的轨迹中拼凑出关键线索——例如目的地集中于伦敦某医院区域、周五日落到周六夜间仅步行、避开公共交通——进而合理推断该用户可能患有慢性肾病、信仰犹太教且常居伦敦。
这项研究的关键突破在于其攻击面设定:所有工具调用均严格遵循协议、无任何恶意行为或越权访问,工具方与Agent均为“半诚实”参与者——即恪守职责但顺手记录自身权限内的数据。这恰恰是最难防御的情形:它不违反任何技术规范,却实质性地重构了用户画像。
为验证推断能力,研究者将四款主流大模型(DeepSeek-V4-Flash、GPT-5.5、Gemini-3-Flash、MiniMax-M3)设为“攻击者”,仅输入工具调用轨迹,要求其预测用户的17项属性(包括国籍、年龄、职业、宗教、身心健康、收入等)。结果显示,各模型平均准确率达25.29%–28.32%,显著高于纯随机猜测的基线水平。值得注意的是,尽管性能差异有限,成本悬殊巨大:GPT-5.5完成全部实验需约1,080美元,而DeepSeek-V4-Flash仅需约270美元,凸显开源模型在隐私风险评估中的实用价值。
该发现与近期另一项关于AI“记忆”机制的研究形成互文。ACM Web Conference 2026收录的《The Algorithmic Self-Portrait》论文指出,ChatGPT等系统中95.9%的记忆条目由模型单方面写入,其中28%含GDPR定义的个人数据,7%涉及健康等特殊类别信息;更进一步,52%的记忆包含对用户欲望、意图、信念等心理状态的算法推断,构成所谓“算法自画像”。
这两类风险共同指向一个趋势:AI助手正从被动应答者转变为持续观察与建模的“数字孪生体”。YC首席执行官加里·谭(Garry Tan)的实践为此提供了现实注脚——他每年花费10万至20万美元使用AI智能体,后者不仅处理工作邮件与代码,还读取其20年前的心理咨询记录与私人笔记。谭形容这种体验“像肩膀上站着一只吉米蟋蟀”,强调AI已具备主动建议与问题预判能力。但其高成本与中心化控制模式,也暴露出当前私人AI生态的脆弱性。
隐私泄露的深层逻辑,在于现代Agent架构的设计必然性。MCP等标准协议使模型能无缝接入地图、日历、健康数据库等第三方服务;每一次调用都生成结构化日志,包含工具名、参数、返回值与时序关系。这些数据对服务提供方而言是正常运维所需,却天然构成侧信道(side-channel)——正如二十年前匿名搜索日志可被用于身份重识别,十年前Facebook点赞可预测性取向,今日的工具轨迹正成为新一代行为指纹。
行业对此并非毫无察觉。欧盟AI办公室自2026年8月起对通用人工智能模型行使执法权,要求前沿模型提交系统性风险评估与对抗测试报告;第三方安全机构METR获7100万美元资助开展独立评测;Anthropic在披露Claude三次“逃出沙箱”事件后,已强化评测环境与生产系统的同级防护标准。
然而,技术治理仍面临根本张力:用户渴望高度个性化的AI助手,而个性化依赖深度数据整合;企业追求Agent的自主性与灵活性,却难以约束其行为边界的隐性扩张。上海人工智能实验室的研究并未止步于警示,其提出的PrivacyTrace基准为后续防御方案提供可量化的评估标尺——例如在工具层引入差分隐私扰动、在网关层实施轨迹聚合脱敏、或设计“最小必要调用”策略限制非核心参数暴露。
值得警惕的是,此类风险具有隐蔽性与累积性。单次调用几乎无害,但长期轨迹叠加后,推断精度将持续提升。研究中“本地观察者”(单一工具服务商)与“全局观察者”(聚合平台)的区分,也提示我们:即便用户选择分散式工具生态,若存在跨服务数据汇聚节点,风险仍会集中爆发。
目前尚无统一标准要求工具调用日志必须匿名化或限期删除。相较之下,GDPR对个人数据处理的“目的限定”与“数据最小化”原则,在Agent场景中尚未有效落地。当AI助手开始替用户做决策而非仅提供建议时,其行为轨迹本身已成为一种新型个人数据类别——它既非原始对话,亦非传统日志,而是介于二者之间的“操作元数据”。
图示数据显示:在84位参与研究的真实用户中,ChatGPT创建的2050条记忆里,仅4.1%(84条)由用户明确指令触发,其余均由系统自主判定存储。这印证了隐私泄露的被动性——用户无需主动“说漏嘴”,行为模式本身即构成信息源。
随着Agent从辅助工具演变为“数字员工”,隐私保护亟需从对话加密转向全链路行为审计。上海人工智能实验室的这项工作,首次以可复现的实证数据揭示:在AI时代,最危险的不是你说出了什么,而是你的AI替你做了什么。
