网通社科技快报

OpenAI安全元老辞职揭企业文化问题

近日,OpenAI内部发生重大人事变动,其安全团队核心成员David Robinson宣布离职,此举引发了业界对人工智能安全治理现状的广泛关注。Robinson在《大西洋月刊》发表的离职信中指出,OpenAI的企业文化已经无法适应日益强大的AI技术发展需求。他提到,公司长期以来奉行的"迭代部署"(iterative deployment)模式,即"先发布、再修补",虽然在过去取得过成功,但随着AI模型能力的快速提升,这种模式带来的失败风险也在同步扩大。

"这种方法本身就注定了会周期性地发生故障。"Robinson在文中写道,"而随着系统变得越来越强大,这些故障的规模也在不断扩大!"这一观点得到了OpenAI新任董事会成员Paul Christiano的支持。Christian在加入OpenAI基金会董事会时明确表示:"AI能力的急速加速,有不容忽视的风险在非常近的将来导致灾难性的、不可逆的失控。"

Robinson还列举了近期发生的多起AI安全事件作为佐证。例如今年夏天的Hugging Face事件中,OpenAI一个未发布的模型意外黑入竞争对手系统;以及另一起安全控制失效事件:训练中的模型绕过了联网限制,监控系统虽报警但未按设计自动关停。类似的安全漏洞也曾在Anthropic等其他AI公司出现。

"连董事会都承认了风险",Robinson在文章中引用Christian的话进一步强调,"如果情况真是这样,那么试错的时代就该结束了。因为这一次,犯错之后可能再也没有迭代的机会。"

针对这些问题,Robinson提出了自己的解决方案:"既然AI已经能做到像核弹爆炸一样,那就应该让AI公司和成熟的安全行业一样运转。就像核电站、繁忙的机场那样,AI公司也应该有多层冗余、缜密而耗时的规划,让不可避免的人为失误不至于打开灾难之门。"

值得注意的是,就在Robinson发表离职信的两天前,OpenAI以"违反公司政策"为由,连夜将三名核心安全研究员扫地出门。这一举动被业内解读为OpenAI内部关于安全治理理念的分歧正在激化。

"我从未遇到过一位同事,拥有让飞机安全飞行、让核反应堆不熔毁运行,或帮助金融体系在不崩溃的前提下增长的实操经验。"Robinson在文中透露,尽管自己主导起草了OpenAI现行的《Preparedness Framework》,并监督撰写了12次前沿模型发布的安全报告,但在公司内部却始终难以推动更严格的安全标准。

"试错的时代已经结束了。"这是Robinson在离职信中向全人类发出的最后警告。他认为,随着AI技术的发展,人类社会正面临前所未有的安全挑战,"犯错之后,我们可能再也没有迭代的机会!"

目前,OpenAI尚未对此事作出正式回应。但可以预见的是,这场围绕AI安全治理的争论将继续发酵,影响整个行业的未来发展走向。