网通社科技快报

OpenAI推新CSAM图像分类器 误报率降48%并启用24小时封号机制

OpenAI近日推出新型AI图像分类器及强化版ChatGPT安全机制,系统性应对AI生成儿童性虐待材料(CSAM)风险。该图像分类器由OpenAI与美国国家失踪与受虐儿童中心(NCMEC)联合开发,专为识别生成式AI合成的CSAM设计,可分析视觉特征并输出风险评分,避免依赖传统哈希比对失效问题。测试显示其误报率降低48%,被标记图像中真实CSAM占比提升至原来的两倍,显著提升审核效率与精准度。该工具已通过API向NCMEC、Tech Coalition等机构开放免费调用。

用户端方面,当ChatGPT检测到涉及儿童性化的输入时,将强制弹出警告界面,明确提示违反《使用政策》,提供专业支持资源链接,并对首次违规者实施24小时账户暂停,重复违规则永久封禁。该干预机制经Protect Children、Lucy Faithfull基金会及塔斯马尼亚大学团队A/B测试优化,旨在实现行为层面的有效阻断。

此外,OpenAI发布《CSAM防范指南》,要求接入其API的第三方应用必须部署同等强度过滤机制,禁止绕过审核的“越狱”提示工程,并强调开发者责任。公司透露分类器将持续迭代,未来拟扩展至视频音频模态,并探索跨平台匿名化特征共享;同步推进“数字证据包”工具试点,辅助案件侦办。此举填补了AI生成CSAM识别的技术空白,据NCMEC数据,相关报告量2025年较2023年上升310%,其中67%无法通过传统方式识别。OpenAI强调训练数据严格合规,未使用非法内容,所有标注均在专业框架下完成。