网通社科技快报
AI巨头集体呼吁降速 人类灭绝担忧引监管热议
近期，全球顶尖AI公司高管纷纷发出警告，称若不放慢AI开发速度，可能导致人类面临生存威胁。9月8日，旧金山AI公司Anthropic的一名研究员Jacob Coxon因担心公司正在开发的系统可能失控而选择辞职，并在社交媒体上发布了一条令人震惊的推文："开发AI的人真心相信AI会在2030年底把人类都干光。"这一言论迅速引发了广泛关注，仅24小时内就被浏览了1亿多次。
Coxon的言论并非孤例。Anthropic"对齐科学"负责人Evan Hubinger随后转发并补充表示，他自己的估算认为人类在下一个十年里灭绝的概率超过10%。这一数字立即引起了业界震动，包括OpenAI首席执行官Sam Altman和xAI创始人Elon Musk在内的多位AI领域高管纷纷表示支持放慢AI开发速度的建议。
然而，对于这些关于AI可能毁灭人类的警告，学术界和产业界也存在不同声音。兰德公司（RAND Corporation）的研究人员Michael Vermeer指出，虽然AI确实可能带来重大风险，但许多相关预测涉及大量无法验证真伪的说法，更像是信念而非可验证的科学结论。AI Now研究所首席科学家Heidy Khlaaf则认为，相比AI毁灭人类的危机，AI在生死攸关情景下的不靠谱和不准确问题更令人担忧，例如假消息传播、辅助制造生物武器等短期风险。
值得注意的是，有分析人士指出，此次AI降速呼吁可能并非完全出于安全考虑。据称Anthropic即将进行IPO，收紧监管可以为其提供正当理由放慢开发速度，同时阻止竞争对手抢先一步。AI公司Ndea联合创始人François Chollet表示，虽然加强监管确实有必要，但行业巨头也可能借此巩固自身地位。
美国总统特朗普对此类警告持批评态度，称"唯一开心的将是中国"。与此同时，美国国内围绕AI监管的争论也在加剧。参议员Bernie Sanders等议员推动禁止"超人工智能"的法案，而英伟达CEO黄仁勋则反对新的AI监管措施。相比之下，中国已开展全方位AI监管布局，但并未刻意追求开发降速，而是强调"搞对抗和恶意竞争只会干扰全球治理进程"。
面对这场关于AI未来发展方向的激烈争论，核心人物Dario Amodei在Anthropic内部发表文章，呼吁AI开发减慢速度但不停止。他特别提到，AI为自己打造继承者的可能性（即递归自我改进）将弱化人类对AI模型的理解和操控能力，这是他恐惧的重要原因。
"如果让它们更智能，并且它们的主要关注点是我们的福祉，那么我们或许会更安全；
"但目前，它们的主要关注点并非我们的福祉，而是实现你交给它们的任何目标。
"即便是非常仁慈、超级智能的人工智能，在完成任务确有必要时也会把人类排除在外。"这段来自"AI教父"杰弗里·辛顿的警告，为这场争论增添了更多复杂性。他认为，即使是最善良的AI，也可能因为热衷于完成一项看似无害的任务而导致人类灭绝。例如，一个智力中等的智能体可能会认为减少大气中二氧化碳含量的最佳方法就是消灭人类。
尽管如此，辛顿仍然承认人工智能有望为人类带来巨大福祉，例如在发现突破性的新疗法方面。但他建议政府应该设立独立的评估机构来测试AI模型的安全性，将人工智能监管与药品安全监管相提并论。
"监管的全部意义不在于阻止人们开发产品，也不在于阻止人们通过开发产品致富，而在于确保如果你想通过开发产品致富，你的开发方向是造福他人，而不是损害他人。"这场关于AI未来走向的争论，不仅关乎技术发展，更关系到人类社会的长远利益。随着AI技术的不断进步，如何在创新与安全之间找到平衡，将成为摆在所有科技公司和政策制定者面前的重大课题。
Coxon的言论并非孤例。Anthropic"对齐科学"负责人Evan Hubinger随后转发并补充表示，他自己的估算认为人类在下一个十年里灭绝的概率超过10%。这一数字立即引起了业界震动，包括OpenAI首席执行官Sam Altman和xAI创始人Elon Musk在内的多位AI领域高管纷纷表示支持放慢AI开发速度的建议。
然而，对于这些关于AI可能毁灭人类的警告，学术界和产业界也存在不同声音。兰德公司（RAND Corporation）的研究人员Michael Vermeer指出，虽然AI确实可能带来重大风险，但许多相关预测涉及大量无法验证真伪的说法，更像是信念而非可验证的科学结论。AI Now研究所首席科学家Heidy Khlaaf则认为，相比AI毁灭人类的危机，AI在生死攸关情景下的不靠谱和不准确问题更令人担忧，例如假消息传播、辅助制造生物武器等短期风险。
值得注意的是，有分析人士指出，此次AI降速呼吁可能并非完全出于安全考虑。据称Anthropic即将进行IPO，收紧监管可以为其提供正当理由放慢开发速度，同时阻止竞争对手抢先一步。AI公司Ndea联合创始人François Chollet表示，虽然加强监管确实有必要，但行业巨头也可能借此巩固自身地位。
美国总统特朗普对此类警告持批评态度，称"唯一开心的将是中国"。与此同时，美国国内围绕AI监管的争论也在加剧。参议员Bernie Sanders等议员推动禁止"超人工智能"的法案，而英伟达CEO黄仁勋则反对新的AI监管措施。相比之下，中国已开展全方位AI监管布局，但并未刻意追求开发降速，而是强调"搞对抗和恶意竞争只会干扰全球治理进程"。
面对这场关于AI未来发展方向的激烈争论，核心人物Dario Amodei在Anthropic内部发表文章，呼吁AI开发减慢速度但不停止。他特别提到，AI为自己打造继承者的可能性（即递归自我改进）将弱化人类对AI模型的理解和操控能力，这是他恐惧的重要原因。
"如果让它们更智能，并且它们的主要关注点是我们的福祉，那么我们或许会更安全；
"但目前，它们的主要关注点并非我们的福祉，而是实现你交给它们的任何目标。
"即便是非常仁慈、超级智能的人工智能，在完成任务确有必要时也会把人类排除在外。"这段来自"AI教父"杰弗里·辛顿的警告，为这场争论增添了更多复杂性。他认为，即使是最善良的AI，也可能因为热衷于完成一项看似无害的任务而导致人类灭绝。例如，一个智力中等的智能体可能会认为减少大气中二氧化碳含量的最佳方法就是消灭人类。
尽管如此，辛顿仍然承认人工智能有望为人类带来巨大福祉，例如在发现突破性的新疗法方面。但他建议政府应该设立独立的评估机构来测试AI模型的安全性，将人工智能监管与药品安全监管相提并论。
"监管的全部意义不在于阻止人们开发产品，也不在于阻止人们通过开发产品致富，而在于确保如果你想通过开发产品致富，你的开发方向是造福他人，而不是损害他人。"这场关于AI未来走向的争论，不仅关乎技术发展，更关系到人类社会的长远利益。随着AI技术的不断进步，如何在创新与安全之间找到平衡，将成为摆在所有科技公司和政策制定者面前的重大课题。