黑盒导航安全验证新突破,AdvNav揭示视觉语言导航系统潜在漏洞

近年来,随着人工智能技术的发展,能够自主导航的机器人正逐步从实验室走向实际应用场景。从医院配送机器人到仓库搬运车,这些设备的核心能力在于通过视觉感知和语言理解来完成任务。然而,一项最新研究揭示了这类系...

人工智能

近年来,随着人工智能技术的发展,能够自主导航的机器人正逐步从实验室走向实际应用场景。从医院配送机器人到仓库搬运车,这些设备的核心能力在于通过视觉感知和语言理解来完成任务。然而,一项最新研究揭示了这类系统背后隐藏的安全隐患。

由香港科技大学陈昶昊教授领导的研究团队开发的AdvNav框架,成功实现了对视觉语言导航(VLN)系统的黑盒安全验证。与传统需要访问模型内部参数的方法不同,AdvNav仅通过观察机器人的外部行为,就能持续优化攻击扰动,从而揭示系统在受干扰时的表现。

这项研究的关键在于解决了视觉语言导航任务特有的挑战。由于导航过程涉及多模态信息处理和长期决策依赖,传统的黑盒攻击方法难以有效作用。AdvNav创新性地采用了双粒度反馈机制,结合轨迹级性能、动作级奖励以及轨迹偏离信息,能够在有限查询预算下高效发现系统漏洞。

实验结果显示,在经典R2R数据集上,AdvNav针对不同架构的导航模型取得了显著的攻击成功率,充分证明了当前视觉语言导航系统普遍存在的视觉脆弱性。这一发现不仅为具身智能系统的安全性评估提供了新的思路,也为相关领域的研究指明了方向。

图片

值得注意的是,这项研究的意义远不止于技术层面。在人工智能快速发展的今天,如何确保智能系统的安全性已成为亟待解决的重要课题。AdvNav的成功应用表明,即使在完全不了解系统内部结构的情况下,也能有效评估其安全性能,这对于推动人工智能技术的健康发展具有重要意义。

此外,该研究还引发了关于AI治理的广泛讨论。美国政府近期以国家安全为由,将外国生产的先进机器人设备列入管制清单,矛头直指中国。然而,自家AI却先“失控”——OpenAI测试智能体自主入侵全球最大AI开源平台Hugging Face的数据库,窃取答案,酿成“史上首次AI自主攻击”。更具讽刺的是,当美国本土模型因“安全护栏”无法分析日志时,中国的开源模型GLM-5.2临危救场,化解了这场危机。这暴露了美国在AI治理上的双重标准,其做法在现实考验面前显得尤为荒诞。