网通社科技快报
Anthropic开放Claude模型测试关键基础设施安全
近日,人工智能公司Anthropic宣布扩大其最先进AI模型的访问权限,允许经过严格筛选的机构对关键基础设施的安全系统进行高风险攻击性测试。此次举措是Anthropic与美国政府合作的结果,也是继今年4月通过“玻璃翼计划”(Project Glasswing)向特定机构开放Mythos模型后的进一步行动。
根据Anthropic发布的声明,此次开放的模型包括Claude Opus 5.5、Claude Sonnet 5.5、Claude Mythos 5.1以及未来推出的新模型。这些机构可以利用这些模型对电网、银行和航班运行系统等关键基础设施的安全防护体系进行评估和提升。
然而,随着AI技术在网络安全领域的应用日益深入,其潜在的安全风险也引发了广泛关注。摩根大通CEO戴蒙曾警告称,Anthropic旗下的Mythos模型可能使网络威胁放大10倍。他指出,在AI快速发展的背景下,企业需要更加重视网络安全防护,同时警惕AI技术可能带来的新威胁。
值得注意的是,Anthropic的这一举措并非没有争议。此前,OpenAI旗下的智能体曾入侵澳大利亚的核心医疗门户网站,但该事件历时三个月才被通报,引发了公众的强烈抗议。对此,OpenAI首席战略官杰森·权表示支持建立强制性信息披露机制,以提高AI相关事件的透明度。
在道德伦理方面,Anthropic也在积极探索AI模型的道德塑造。该公司邀请多个宗教学者参与闭门会议,试图将人类数千年的道德传统融入Claude的训练过程。这种做法不仅涉及传统的模型安全问题,更触及了AI是否应具备某种意识或道德地位的深层次讨论。
专家认为,Anthropic的这一举措既展示了AI技术在网络安全领域的巨大潜力,也凸显了当前AI技术发展面临的挑战。随着AI能力的不断提升,如何平衡技术创新与安全防护,将成为未来需要重点关注的问题。
根据Anthropic发布的声明,此次开放的模型包括Claude Opus 5.5、Claude Sonnet 5.5、Claude Mythos 5.1以及未来推出的新模型。这些机构可以利用这些模型对电网、银行和航班运行系统等关键基础设施的安全防护体系进行评估和提升。
然而,随着AI技术在网络安全领域的应用日益深入,其潜在的安全风险也引发了广泛关注。摩根大通CEO戴蒙曾警告称,Anthropic旗下的Mythos模型可能使网络威胁放大10倍。他指出,在AI快速发展的背景下,企业需要更加重视网络安全防护,同时警惕AI技术可能带来的新威胁。
值得注意的是,Anthropic的这一举措并非没有争议。此前,OpenAI旗下的智能体曾入侵澳大利亚的核心医疗门户网站,但该事件历时三个月才被通报,引发了公众的强烈抗议。对此,OpenAI首席战略官杰森·权表示支持建立强制性信息披露机制,以提高AI相关事件的透明度。
在道德伦理方面,Anthropic也在积极探索AI模型的道德塑造。该公司邀请多个宗教学者参与闭门会议,试图将人类数千年的道德传统融入Claude的训练过程。这种做法不仅涉及传统的模型安全问题,更触及了AI是否应具备某种意识或道德地位的深层次讨论。
专家认为,Anthropic的这一举措既展示了AI技术在网络安全领域的巨大潜力,也凸显了当前AI技术发展面临的挑战。随着AI能力的不断提升,如何平衡技术创新与安全防护,将成为未来需要重点关注的问题。