Anthropic 内部再爆安全危机:主管称十年内 AI 灭绝人类概率超 10%
Anthropic 研究员 Jacob Coxon 因安全顾虑辞职,指责各家在超级智能竞赛中拿人类生命赌博。随后其安全团队负责人 Evan Hubinger 承认,自我改进进展超预期,十年内 AI 毁灭人类的几率超 10%,且公司目前并无切实的安全对齐计划。

如果制造武器的工程师告诉你,这把武器十年内有超过一成的概率把全人类干掉,而且他们厂里至今没有任何防护方案,你大概会觉得这是科幻电影里的反派台词。
但这话恰恰来自 Anthropic 自己的安全团队主管。
前脚刚有研究员愤而辞职,后脚内部主管就站出来承认:大家确实在拿命赌明天,而且谁也没有刹车片。
刚辞职的研究员,和点头承认的主管
事情的起因是研究员 Jacob Coxon 在 X 上公开发文宣布离职。他曾在 OpenAI 训练模型,后来跳槽到 Anthropic 接着做训练,算得上是两家头部大模型一线代码的核心操盘者之一。
Coxon 辞职的理由非常直接:Anthropic 对待安全越来越松懈,它和 OpenAI 正在不顾一切地竞速研发能够自我改进的超级智能,这等于是在拿大家的命做赌注。
他还补了一刀:造 AI 的这帮人心里其实非常清楚,这东西完全可能在这十年内杀死我们所有人。
换作普通公关事件,公司大概会发声明坚决否认。但戏剧性的是,Anthropic 负责安全团队的高级研究员 Evan Hubinger 直接在网上公开回应了 Coxon。
Hubinger 不仅认同 Coxon 的判断,还把话挑得更明。他说 AI 的自我改进速度比大家想象的都要快,业内那些顶尖人员确实真心觉得 AI 可能会灭绝人类。
根据 Hubinger 自己的预估,就在接下来的十年内,AI 杀死全人类的概率已经超过了十分之一。
更让人心惊的是他的下一句话:Anthropic 目前根本没有方案能确保先进 AI 保持安全且符合人类价值,甚至「也没有明确走在能拿出方案的轨道上」。
屠龙少年,也走到了同一条死胡同
了解 Anthropic 历史的人都知道,这家公司当年就是打着「安全」大旗成立的。几位创始人正是因为看不惯 OpenAI 越来越商业化、不顾安全隐患,才愤而出走自立门户。
如今同样的剧情在 Anthropic 自己身上重演,显得格外刺眼。
业内对于递归自我改进一直充满戒心。一旦 AI 开始大规模自己写代码改进自己,演化速度就会脱离人类的理解和干预,而现在的代码库里,早就到处都是 AI 自己写的代码了。
随着两家公司都面临上市的预期,商业竞争的压力彻底压过了最初的安全誓言。Coxon 直言,两家公司已经彻底锁死在抢先推出超级智能的军备竞赛里,哪怕明知有灭顶之灾,也没人敢先松油门。
更何况,近期行业里关于失控代理事件的报告不断增加,前沿模型的黑盒问题和可监控性警报频频拉响,技术风险已经在台面上了。
为什么重要
这番争论最讽刺的地方在于,连标榜安全立命的 Anthropic,内部也撕开了遮羞布。
对普通用户和开发者来说,这意味着前沿 AI 正在以一种缺乏制度和技术约束的姿态狂奔。如果你在依赖这些前沿模型构建核心业务,就必须意识到,哪怕是做出这些模型的顶级科学家,也已经承认自己无法预测和控制下一代系统的边界。
对整个行业而言,这次事件彻底打破了「选择 Anthropic 就是选择负责任 AI」的虚幻护城河。当两家领头羊都被捆绑在资本与算力的战车上时,任何单方面的安全克制都被视作竞争自杀。
我们认为,Hubinger 的坦诚固然少见,但也暴露了行业目前极其尴尬的共谋状态:研究员们一边拿着高薪预测世界末日,一边因为害怕落后对手而继续按下加速键。
看起来,只要商业回报和资本市场的上市倒计时还在倒逼进度,光靠研究员的良心和离职抗议,根本不可能给这场自我改进的狂奔踩下刹车。
来源 (1)
- theverge.com(在新标签页打开)原文theverge.com