OpenAI 推 GPT-Red,AI 网安红队模型助力提升产品鲁棒性
近日,人工智能领域领军企业OpenAI宣布推出一款名为GPT-Red的内部网络安全“红队”模型。这款模型旨在通过自动化模拟各种网络攻击,帮助OpenAI提升其对外发布模型产品的鲁棒性、一致性和可信度。...
近日,人工智能领域领军企业OpenAI宣布推出一款名为GPT-Red的内部网络安全“红队”模型。这款模型旨在通过自动化模拟各种网络攻击,帮助OpenAI提升其对外发布模型产品的鲁棒性、一致性和可信度。
根据OpenAI官方发布的消息,GPT-Red自2023年初以来已应用于其所有生产模型的训练过程。数据显示,该模型在检测和防范网络攻击方面取得了显著成效。例如,在伪造思维链型攻击的检测能力上,GPT-Red将成功率从GPT-5.1版本的95%降低至最新版本GPT-5.6 Sol的不足10%。而在直接提示符注入攻击的测试中,GPT-5.6 Sol的失败率更是降至惊人的0.05%。
GPT-Red的核心技术基于自博弈强化学习。该模型与一组不同的防御型大型语言模型(LLM)在广泛的红队场景上同时进行训练。在这个过程中,GPT-Red通过成功诱发有效失败获得奖励,而防御型模型则因能够抵抗攻击并完成其原始任务而获得奖励。随着防御型模型性能的不断提升,GPT-Red被迫发现并开发出更强大、更多样化的攻击方法,从而形成一个持续进化的安全闭环。
值得注意的是,GPT-Red与其对外发布的产品模型完全隔离。这种设计确保了GPT-Red仅用于内部安全测试,不会影响到实际用户的产品体验。OpenAI相信,通过这种方式,可以利用现有模型来增强未来模型的安全性和可靠性,从而开启一个良性的人工智能网络安全循环。
OpenAI首席安全官表示:“GPT-Red的推出标志着我们在AI安全领域迈出了重要一步。通过将AI技术应用于网络安全防护,我们不仅能够更好地保护自身系统,还能为整个行业提供可借鉴的安全解决方案。”
目前,GPT-Red已经在OpenAI的多个关键项目中得到应用,包括其最新的GPT-5.6系列模型。随着AI技术的不断发展,OpenAI计划进一步优化GPT-Red的性能,并探索将其应用于更多安全场景的可能性。