AIAgent时代隐私与安全新挑战,从权限到具体动作的控制

在移动互联网时代,用户对App索取权限已相当谨慎。但当AI Agent出现后,这种警惕性似乎大幅降低。一个Agent说要帮你写周报,你就会让它读群聊、会议纪要、飞书文档;说要跟进客户,就让它看聊天记录...

人工智能

在移动互联网时代,用户对App索取权限已相当谨慎。但当AI Agent出现后,这种警惕性似乎大幅降低。一个Agent说要帮你写周报,你就会让它读群聊、会议纪要、飞书文档;说要跟进客户,就让它看聊天记录、CRM系统;说要完成流程,甚至愿意让它点击按钮、填写表单。这种看似高效的"效率革命",实则打开了全新的安全大门。

Agent的核心危险在于其同时拥有三种能力:读取信息、理解场景、执行动作。这使得它不再是一个简单的聊天工具,而是直接进入了工作现场。例如,当你让Agent整理今天的客户情况时,它可能需要读取聊天记录、日历安排、销售表格、邮件附件等多源数据。这些数据组合起来,比通讯录敏感得多,因为Agent看到的不仅是名单,而是名单之间正在发生的关系网。

图片

更令人担忧的是,一旦Agent能够写入、点击、发送、删除、提交等操作,问题就从单纯的隐私泄露升级为操作责任问题。OpenAI在ChatGPT agent帮助文档中明确指出,用户将agent登录到网站或启用应用后,它可能访问邮件、文件、账户设置等敏感数据,也可能代表用户分享文件、修改设置。而最危险的威胁之一是Prompt Injection攻击,攻击者可以将恶意指令隐藏在网页、邮件或文档中,当Agent执行任务时自动触发,绕过用户的肉眼确认。

图片

尽管本地部署和私有化部署被视为一种解决方案,但对大多数个人用户和中小企业来说,高能力Agent所需的强大模型、长上下文支持、稳定工具调用等,意味着高昂的服务器、显卡、运维成本。因此,云端服务仍然是主流选择。然而,即使数据不出公司,员工的工作轨迹仍会被完整记录和重组,这可能导致企业重新计算岗位价值。

AI Agent不仅带来了隐私和误操作风险,还加速了初级白领岗位的自动化分解。Anthropic CEO Dario Amodei预测,AI可能在未来1-5年内冲击大量初级白领岗位,包括技术、金融、法律、咨询等领域。Agent会自动化整理资料、写纪要、拉数据、跟流程等训练环节,而新人原本依赖这些中间环节入门。如果这些环节被大量自动化,公司可能会减少招聘,导致岗位被逐层拆解。

面对Agent时代的安全挑战,传统的身份与权限体系已经显得力不从心。Nuggets推出的"Authority Control Plane"产品,正是试图解决这一问题。该产品位于Agent与工具、应用和企业系统之间,结合身份、被委托的authority、组织策略、声明的intent与实时上下文,决定每一次具体动作是否允许发生。这标志着安全控制点正从"访问"转向"动作","Authority"成为新的安全概念。

对于SaaS公司而言,Agent的引入也带来了组织架构的深刻变革。当Agent真正接手工作时,谁给Agent分配任务、它可以读取和修改哪些数据、结果由谁验收、一旦出错谁来兜底等问题都需要重新定义。明略科技的实践表明,当AI智能体数量超过人类员工时,效率提升显著,但组织如何接住这种变化,仍然是一个亟待解决的问题。