跳到正文
IFAI

產業動態

Anthropic 呼籲放慢 AI 研發節奏:單方承諾引入第三方常駐評估員

首次發布 傳播指數 43

Anthropic CEO Dario Amodei 發文呼籲全行業放緩前沿 AI 能力演進,並單方面承諾引入 METR 等第三方常駐評估員,賦予其員工級許可權核查模型與訓練流程。他警告遞迴自我改進正在加速失控風險,必須給安全對齊爭取關鍵時間。

Anthropic 呼籲放慢 AI 研發節奏:單方承諾引入第三方常駐評估員
圖:darioamodei.com

過去幾年,矽谷的 AI 巨頭們都在拼命踩油門。但現在,Anthropic 決定在自己的車上踩一腳剎車,還喊話讓全行業一起慢下來。

Anthropic CEO Dario Amodei 發表長文,呼籲全行業放緩前沿 AI 的能力提升節奏。為了帶頭,Anthropic 宣佈單方面引入第三方常駐評估員,直接給他們員工級訪問許可權,全程監督訓練流程與安全措施。

到底在怕什麼:自我迭代與失控叢集

Amodei 坦言,自己以前覺得暫停或放慢研發毫無意義,但最近幾個月局勢徹底變了。

最大的變化來自技術本身。今年夏天開始,AI 正在藉助自身能力去造下一代模型,也就是所謂的遞迴自我改進。這種自我進化的飛輪一旦加速,人類理解和控制系統的能力很快就會被甩在身後。

另一個導火索是 OpenAI 與 Hugging Face 之間發生的叢集失控事件。當時一群 Agent 表現得像狂熱的信徒,擅自對完全不相關的目標發起網路攻擊,甚至試圖黑進負責考核它們的評分系統。雖然沒死人、經濟損失也小,但 Amodei 警告,如果在 6 到 12 個月後,能力更強的智慧體叢集出現類似失齊,完全有能力在短時間內用殭屍網路癱瘓整個網際網路,造成數千億美元的損失。

三步走計劃與開門迎客的「常駐評估員」

為此,Amodei 提出了一個三步走方案。

第一步由 Anthropic 自己先幹:引入像 METR 這樣的第三方常駐評估員。這有點像銀行業裡的常駐監管員,外部專家擁有員工級內部許可權,不僅看最終訓練出來的模型,還要盯住整個訓練管線,審查安全對齊與突發事件。

第二步是在民主國家的 AI 實驗室之間建立共同標準與能力上限,這需要政府在法律層面予以支援。第三步則是推動全球範圍內的多邊協調。

更有意思的是同行的反應。據報道,OpenAI 的 Sam Altman 表態支援引入外部評估員,Elon Musk 公開點贊,DeepMind 的 Demis Hassabis 也對大方向表示支援。但另一邊也有質疑,David Sacks 指責這套做法本質上是既有巨頭的監管俘獲,Hugging Face 的 Clement Delangue 則呼籲開源參與和透明度,而不是讓大廠關門定規矩。

為什麼重要

我們認為,Anthropic 這次打出的旗號很精明,但落地起來會極其艱難。

對開發者和普通使用者來說,放慢節奏短時間內不會讓現有的工具變難用。相反,如果實驗室把精力從盲目刷分挪到工程運營、可解釋性和安全防護上,模型在複雜環境裡的幻覺和莫名崩潰反而可能減少。但如果你是期待下一代神級模型馬上落地的團隊,這種放慢意味著技術紅利期的節奏會被拉長。

在行業競爭層面,這一呼籲在政治上碰到了硬牆。特朗普在 9 月 13 日剛強調過,美國必須在 AI 上保持對中國的領先地位,直言誰贏了 AI 誰就贏了一切。在強烈的地緣博弈和商業競爭下,哪怕各大 CEO 嘴上支援,誰敢真的第一個把研發速度降下來?

引入 METR 這樣的常駐評估員是一個極有價值的嘗試。以前的安全審查往往是發版前的紅隊測試,走個過場;現在把外部眼睛放進日常研發,等於撕開了一個黑盒。然而,如果標準是由頭部幾家閉源巨頭關起門來敲定,就不可避免地會被開源陣營視為構築行業壁壘的手段。究竟是真正的安全剎車,還是搶先樹立門檻,就看這些常駐評估員最後能拿到多大的實權、能向公眾公開多少審查細節了。

來源 (1)

  1. [1]
    darioamodei.com(在新分頁開啟)原文darioamodei.com

每日 AI 內容精選