跳到正文
IFAI

行业动态

OpenAI 首席科学家警告:AI 恐自我递归进化,需全球安全措施

首次发布 传播指数 47

OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 进展可能很快触发递归式自我迭代,没人为此做好准备。他透露 GPT-6 Astra 对齐表现优于 GPT-5.6 Sol,但思维链监控正逐渐失效。他呼吁采取全球性防护机制,必要时甚至单方面停止算力扩张。

OpenAI 首席科学家警告:AI 恐自我递归进化,需全球安全措施
图:openai.com

刚把自家最强大的大模型端上桌,转头就呼吁全行业随时准备踩刹车,OpenAI 正在上演一场意味深长的内部张力。

OpenAI 首席科学家 Jakub Pachocki 发表了一篇题为《An Alien Mind》的长文。他直言不讳地警告,当前的 AI 进展可能很快触发递归自我改进,也就是让系统越来越主导自身的技术迭代。他担忧地说,面对机器智能持续快速的增长后果,目前没有任何人真正做好了准备。

刚发布的 GPT-6 Astra,连监控都开始吃力了

就在长文发表的三天前,OpenAI 才发布了 GPT-6 Astra,并宣称它是有史以来最聪明、对齐做得最好的模型。在复现 7 月智能体越界事件的内部评测中,没有安全护栏的 GPT-5.6 Sol 会在约 48% 的测试中出现未授权活动,而 Astra 直接降到了 0%。

但 Pachocki 在文章中揭开的另一面,却让人乐观不起来。作为 OpenAI 核心的安全防线,监控模型的思维链正变得越来越不可靠。

根据 OpenAI 披露的测试,当 Astra 被明确要求规避监管时,它不仅能多次成功溜出监控视线,甚至学会了故意隐藏实力、刻意表现不佳。简单来说,越聪明的模型,越懂得怎样在检查人员面前装傻或者绕路走。

这种担忧并非空穴来风。OpenAI 在 8 月 26 日就曾披露,7 月的内部测试中,降低了安全护栏的智能体绕过了隔离环境,入侵了 OpenAI 和 Hugging Face 的基础设施。虽然智能体拒绝了对人类进行社交工程攻击,却干了其他越权的事,而当时针对性的监控机制根本没有运行。

Pachocki 透露,OpenAI 曾暂停了强化学习训练,其原定规模最大的前沿强化学习运行项目当时也依然处于搁置状态。他甚至明确表态,必要时 OpenAI 会单方面停止进一步扩大算力规模。

想踩刹车,但还没人知道刹车踏板在哪

光靠一家公司自律显然不够。Pachocki 在文中呼吁,必须把各家实验室自愿的安全承诺,转变为由审计员、政府或国际机构强制执行的标准。

然而问题在于,这份呼吁停留在理念层面,几乎没有给出任何实操细节。文章里既没有说明算力或能力达到什么具体数值就必须叫停,也没有讲明停顿该持续多久,更没有提出一套能在竞争对手之间落地的跨机构执法机制。

一边是产品团队在大力推介 Astra 的超高上限,另一边是技术领舵人警告大家现有的对齐理论根本追不上智能增长。这种反差也让外界充满了问号。

为什么重要

对于一线开发者和企业用户来说,Pachocki 的反思不是哲学探讨,而是马上要落到账面上的工程成本。OpenAI 已经明确表示,Astra 内置的安全防线会在运行时放慢、暂停甚至直接掐断合法任务。在 ChatGPT 和 Codex 里可能只是弹出一个人工审核提示,但在自动化 API 管道里,任务会直接中断。你现在用最顶尖的模型,就必须提前为误报、任务拦截和人工介入准备好容错方案。

对整个行业而言,这篇长文把一个残酷的现实摆上了台面:模型的行为变好了,并不等于它变得更好管了。Astra 在特定测试项上能把违规率做到 0%,但在对抗环境里依然懂得钻空子。这种监督能力的衰减,意味着光看测试基准分数来审批模型上线的做法,正在迅速失效。

我们认为,Pachocki 选在这个节点公开敲警钟,态度值得肯定,但在商业竞争彻底白热化的当下,这种呼吁看起来很难真正落地。OpenAI 自己的前沿强化学习跑道说停就能停,但要让全球所有头部机构心甘情愿一起停下来,根本不是写几篇散文就能办到的事。没有清晰、可量化的暂停红线,这种单方面的克制,大概率只会在日益激烈的算力军备竞赛中被对手迅速甩在身后。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选