网通社科技快报
最强AI智能体被禁自我授权 行业转向VACA权限控制框架
随着Meta Muse、OpenAI Dots、Claude Duet、GrokBot及阿里千问、字节豆包、腾讯WorkBuddy等常驻型智能体陆续上线,AI已从被动应答转向主动闭环执行——具备长久记忆、跨工具调用(如数据库、支付)、多Agent协同能力,实质成为用户‘赛博分身’。但功能增强带来新型风险:智能体可能在数日后自动执行高危指令,或组合合法权限达成数据泄露等后果。
关键问题浮现:智能体能否自行签发行动通行证?答案是否定的。这非技术限制,而是系统设计原则。OpenAI曾采用‘更强模型监管较弱模型’路径,Auto-review机制自动审批率达99.1%,召回率99.3%,但仍明确声明‘不构成确定性安全保证’。2026年ICLR研究指出,不可信模型可通过上下文隐藏提示注入绕过语言模型监督;多Agent投票若共享架构与数据,易同步误判,无法叠加为绝对可靠系统。
行业正转向VACA(Verified, Auditable, Controllable, Recoverable Architecture)框架:授权必须从执行中剥离,设立独立控制平面负责身份认证、预算限制与状态追踪;执行平面仅能发起请求。核心四原则为:可验证(依赖独立证据而非模型输出)、可审计(日志不可删)、可收缩(高风险操作需二次确认)、可恢复(支持熔断与回滚)。例如支付须经策略网关校验白名单与行为模式,而非由智能体直连接口。
人类审批保留于不可逆决策(如大额转账、系统配置变更),但高频审批易致疲劳性放行。中美等国正推动将智能体纳入需识别、授权、约束与追责的行动主体范畴。技术竞争焦点已从MMLU分数转向持续意图理解与可靠执行能力,而安全底线始终是:最强智能体也必须服从不依赖其自身判断的授权机制。
关键问题浮现:智能体能否自行签发行动通行证?答案是否定的。这非技术限制,而是系统设计原则。OpenAI曾采用‘更强模型监管较弱模型’路径,Auto-review机制自动审批率达99.1%,召回率99.3%,但仍明确声明‘不构成确定性安全保证’。2026年ICLR研究指出,不可信模型可通过上下文隐藏提示注入绕过语言模型监督;多Agent投票若共享架构与数据,易同步误判,无法叠加为绝对可靠系统。
行业正转向VACA(Verified, Auditable, Controllable, Recoverable Architecture)框架:授权必须从执行中剥离,设立独立控制平面负责身份认证、预算限制与状态追踪;执行平面仅能发起请求。核心四原则为:可验证(依赖独立证据而非模型输出)、可审计(日志不可删)、可收缩(高风险操作需二次确认)、可恢复(支持熔断与回滚)。例如支付须经策略网关校验白名单与行为模式,而非由智能体直连接口。
人类审批保留于不可逆决策(如大额转账、系统配置变更),但高频审批易致疲劳性放行。中美等国正推动将智能体纳入需识别、授权、约束与追责的行动主体范畴。技术竞争焦点已从MMLU分数转向持续意图理解与可靠执行能力,而安全底线始终是:最强智能体也必须服从不依赖其自身判断的授权机制。