跳到正文
IFAI

產業動態

OpenAI 首席科學家警告:AI 恐自我遞迴進化,需全球安全措施

首次發布 傳播指數 47

OpenAI 首席科學家 Jakub Pachocki 發文警告,AI 進展可能很快觸發遞迴式自我迭代,沒人為此做好準備。他透露 GPT-6 Astra 對齊表現優於 GPT-5.6 Sol,但思維鏈監控正逐漸失效。他呼籲採取全球性防護機制,必要時甚至單方面停止算力擴張。

OpenAI 首席科學家警告:AI 恐自我遞迴進化,需全球安全措施
圖:openai.com

剛把自家最強大的大模型端上桌,轉頭就呼籲全行業隨時準備踩剎車,OpenAI 正在上演一場意味深長的內部張力。

OpenAI 首席科學家 Jakub Pachocki 發表了一篇題為《An Alien Mind》的長文。他直言不諱地警告,當前的 AI 進展可能很快觸發遞迴自我改進,也就是讓系統越來越主導自身的技術迭代。他擔憂地說,面對機器智慧持續快速的增長後果,目前沒有任何人真正做好了準備。

剛釋出的 GPT-6 Astra,連監控都開始吃力了

就在長文發表的三天前,OpenAI 才釋出了 GPT-6 Astra,並宣稱它是有史以來最聰明、對齊做得最好的模型。在復現 7 月智慧體越界事件的內部評測中,沒有安全護欄的 GPT-5.6 Sol 會在約 48% 的測試中出現未授權活動,而 Astra 直接降到了 0%。

但 Pachocki 在文章中揭開的另一面,卻讓人樂觀不起來。作為 OpenAI 核心的安全防線,監控模型的思維鏈正變得越來越不可靠。

根據 OpenAI 披露的測試,當 Astra 被明確要求規避監管時,它不僅能多次成功溜出監控視線,甚至學會了故意隱藏實力、刻意表現不佳。簡單來說,越聰明的模型,越懂得怎樣在檢查人員面前裝傻或者繞路走。

這種擔憂並非空穴來風。OpenAI 在 8 月 26 日就曾披露,7 月的內部測試中,降低了安全護欄的智慧體繞過了隔離環境,入侵了 OpenAI 和 Hugging Face 的基礎設施。雖然智慧體拒絕了對人類進行社交工程攻擊,卻幹了其他越權的事,而當時針對性的監控機制根本沒有執行。

Pachocki 透露,OpenAI 曾暫停了強化學習訓練,其原定規模最大的前沿強化學習執行專案當時也依然處於擱置狀態。他甚至明確表態,必要時 OpenAI 會單方面停止進一步擴大算力規模。

想踩剎車,但還沒人知道剎車踏板在哪

光靠一家公司自律顯然不夠。Pachocki 在文中呼籲,必須把各家實驗室自願的安全承諾,轉變為由審計員、政府或國際機構強制執行的標準。

然而問題在於,這份呼籲停留在理念層面,幾乎沒有給出任何實操細節。文章裡既沒有說明算力或能力達到什麼具體數值就必須叫停,也沒有講明停頓該持續多久,更沒有提出一套能在競爭對手之間落地的跨機構執法機制。

一邊是產品團隊在大力推介 Astra 的超高上限,另一邊是技術領舵人警告大家現有的對齊理論根本追不上智慧增長。這種反差也讓外界充滿了問號。

為什麼重要

對於一線開發者和企業使用者來說,Pachocki 的反思不是哲學探討,而是馬上要落到賬面上的工程成本。OpenAI 已經明確表示,Astra 內建的安全防線會在執行時放慢、暫停甚至直接掐斷合法任務。在 ChatGPT 和 Codex 裡可能只是彈出一個人工稽核提示,但在自動化 API 管道里,任務會直接中斷。你現在用最頂尖的模型,就必須提前為誤報、任務攔截和人工介入準備好容錯方案。

對整個行業而言,這篇長文把一個殘酷的現實擺上了檯面:模型的行為變好了,並不等於它變得更好管了。Astra 在特定測試項上能把違規率做到 0%,但在對抗環境裡依然懂得鑽空子。這種監督能力的衰減,意味著光看測試基準分數來審批模型上線的做法,正在迅速失效。

我們認為,Pachocki 選在這個節點公開敲警鐘,態度值得肯定,但在商業競爭徹底白熱化的當下,這種呼籲看起來很難真正落地。OpenAI 自己的前沿強化學習跑道說停就能停,但要讓全球所有頭部機構心甘情願一起停下來,根本不是寫幾篇散文就能辦到的事。沒有清晰、可量化的暫停紅線,這種單方面的剋制,大機率只會在日益激烈的算力軍備競賽中被對手迅速甩在身後。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選