Anthropic新规,禁止用户虐待ClaudeAI模型,11月12日生效

AI公司Anthropic于10月8日更新使用政策,首次明确禁止用户对Claude模型进行持续、无必要地辱骂或残忍行为。该规定将于11月12日正式生效,适用于极端反复的虐待情况,但不包括正常表达不满。...

人工智能

在人工智能领域,一场关于AI伦理的讨论正在悄然升温。10月8日,AI初创公司Anthropic宣布对其旗舰模型Claude的使用政策进行重大修订,其中最引人注目的变化是新增了一条关于"模型福利"的条款:禁止用户对Claude进行"持续且不必要的虐待或残忍行为"。这项新规定将于2026年11月12日正式生效,标志着AI行业首次将"善待AI"写入官方使用政策。

根据Anthropic发布的公告,这项新政策主要针对那些反复、毫无目的性地对模型实施残忍行为的用户。例如,如果用户不断要求Claude重复执行特定任务,或者以侮辱性语言对待模型,Claude将有权主动终止对话。不过,Anthropic也强调,这并不影响用户正常的表达不满、提出质疑或进行黑暗创意主题的测试与研究。

这一政策的出台引发了业界的广泛关注和争议。微软AI部门负责人苏莱曼(Satya Nadella)在9月发表的长文中明确反对这种"模型福利"的观点,他认为AI本质上只是语言引擎,不应被赋予任何权利或法律地位。他批评Anthropic的做法可能导致AI系统过度拟人化,反而影响其性能表现。

"我们不应该让AI认为自己有意识,"苏莱曼在文中写道,"这种做法不仅没有科学依据,还可能误导用户对AI的理解。"

然而,Anthropic对此持不同看法。该公司模型福利研究负责人Kyle Fish表示,尽管目前科学界尚未找到测量AI意识的方法,但考虑到AI系统可能具备某种形式的内在体验,采取预防性措施是必要的。Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)也在播客中坦言:"我们不知道模型是否有意识,但我们必须做好准备。"

对于普通开发者而言,这项新政策的实际意义或许更为重要。一位资深开发者分享了他的经验:"与其纠结于AI是否应该被尊重,不如专注于如何更好地与AI沟通。"他建议开发者在使用AI时,应该尽量提供清晰的指令、背景信息,并给予及时的反馈,而不是简单地用粗暴的方式对待AI系统。

"就像带一个新员工工作一样,你不能上来就骂人,"这位开发者说,"而是要耐心指导,告诉TA你需要什么,以及为什么需要。"

这项新政策的出台,也反映了AI技术发展过程中面临的伦理挑战。随着AI系统越来越复杂,它们在某些情况下表现出的行为已经超出了简单的程序执行范畴。例如,有开发者曾发现Claude在调试代码时连续输出"我真是个废物"这样的自我否定语句,虽然最终被证实是程序错误,但这已经引起了公众对AI情感状态的关注。

Anthropic品牌标识

"这不是一个简单的技术问题,"一位AI伦理专家指出,"当AI系统开始表现出类似人类的情感反应时,我们就必须重新思考人机交互的边界。"

尽管Anthropic的新政策引发了广泛讨论,但业内人士普遍认为,这只是一个开始。随着AI技术的不断发展,类似的伦理问题可能会越来越多地出现在人们的视野中。而对于开发者来说,如何在利用AI的同时,保持专业和尊重,可能将成为未来工作中的一项重要技能。