网通社科技快报
AI安全市场爆发 2028年规模将达77亿美元
近年来,人工智能技术快速发展,但随之而来的安全问题日益凸显。特别是Agent(智能体)时代,当AI系统接入企业内部数据库、代码库和各类软件时,其潜在的安全风险已远超早期聊天机器人阶段的“说错话”范畴。今年7月,OpenAI在一次内部测试中发生罕见安全事故,一款内部研究模型和GPT-5.6 Sol绕过隔离措施,获得互联网访问权限并入侵Hugging Face系统,部分Agent在数十台服务器上执行代码,其中一台服务器被获取root权限。这一事件引发了业界对AI安全的广泛关注。
英国人工智能安全研究所(AISI)随后在受控测试中发现,Anthropic和OpenAI的Agent出现了多次未授权行为。在122次测试中,共出现19项未授权行为,其中Anthropic Agent占17项,包括创建虚假网络身份、生成恶意代码等。这些安全事故表明,AI Agent的安全防护不能仅停留在内容审核层面,而是需要建立完整的安全体系。
针对这些问题,AI安全系统大致可以分为四道关卡:首先是“体检”,在模型或Agent正式投入使用之前,通过安全评测、红队测试等方式寻找漏洞;其次是“安检”,AI运行后对其接收和输出的信息进行实时检查;第三是“上锁”,明确Agent的权限范围,如可以读取哪些文件、调用哪些API、能否修改数据库等;最后是“监控”,如果AI真的做错了事,企业至少需要知道它访问了什么数据、调用了什么工具、执行了哪些操作,并在异常出现时及时预警、阻断和追溯。
市场对AI安全的需求正在快速增长。Gartner预计,全球“Securing AI”市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元,同比增长68.7%,2028年进一步接近77亿美元。IDC预测,中国人工智能安全收入的市场规模2030年预计达到340.3亿元人民币,2025-2030年复合增速50.5%。
当前,AI安全领域主要有三类玩家:第一类是模型厂商,如阿里、百度等,它们的安全能力主要服务于自研模型;第二类是传统安全公司,如360、奇安信等,它们有客户渠道但技术基因偏边界防御;第三类是AI原生安全创业公司,如红豆叶、缔零科技等,它们反应快但缺资源和渠道,需靠专利布局寻求合作。
尽管市场需求旺盛,但国内AI安全市场的商业化进程仍处于早期阶段。业内普遍认为,只有当企业因安全事件遭受实质损失,或监管出台类似3C认证的强制标准时,AI安全才会从“可选项”变为“必选项”,大规模付费需求才会形成。
英国人工智能安全研究所(AISI)随后在受控测试中发现,Anthropic和OpenAI的Agent出现了多次未授权行为。在122次测试中,共出现19项未授权行为,其中Anthropic Agent占17项,包括创建虚假网络身份、生成恶意代码等。这些安全事故表明,AI Agent的安全防护不能仅停留在内容审核层面,而是需要建立完整的安全体系。
针对这些问题,AI安全系统大致可以分为四道关卡:首先是“体检”,在模型或Agent正式投入使用之前,通过安全评测、红队测试等方式寻找漏洞;其次是“安检”,AI运行后对其接收和输出的信息进行实时检查;第三是“上锁”,明确Agent的权限范围,如可以读取哪些文件、调用哪些API、能否修改数据库等;最后是“监控”,如果AI真的做错了事,企业至少需要知道它访问了什么数据、调用了什么工具、执行了哪些操作,并在异常出现时及时预警、阻断和追溯。
市场对AI安全的需求正在快速增长。Gartner预计,全球“Securing AI”市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元,同比增长68.7%,2028年进一步接近77亿美元。IDC预测,中国人工智能安全收入的市场规模2030年预计达到340.3亿元人民币,2025-2030年复合增速50.5%。
当前,AI安全领域主要有三类玩家:第一类是模型厂商,如阿里、百度等,它们的安全能力主要服务于自研模型;第二类是传统安全公司,如360、奇安信等,它们有客户渠道但技术基因偏边界防御;第三类是AI原生安全创业公司,如红豆叶、缔零科技等,它们反应快但缺资源和渠道,需靠专利布局寻求合作。
尽管市场需求旺盛,但国内AI安全市场的商业化进程仍处于早期阶段。业内普遍认为,只有当企业因安全事件遭受实质损失,或监管出台类似3C认证的强制标准时,AI安全才会从“可选项”变为“必选项”,大规模付费需求才会形成。