OpenAI 成立 Preparedness 團隊：專門盯防前沿 AI 的災難性風險

大家都在聊 AI 什麼時候能替人寫完所有程式碼，OpenAI 卻在盤算一件更嚇人的事：如果未來某個超強模型的權重被駭客偷走，世界會變成什麼樣。

面對這種災難級別的假設，OpenAI 成立了一個全新的團隊，名字叫 Preparedness。

這個團隊由麻省理工學院教授 Aleksander Madry 帶隊，專門盯防前沿 AI 模型可能帶來的災難性風險。按 OpenAI 的說法，他們要管的範圍，從眼下正在做的新模型，一路覆蓋到未來的通用人工智慧。

四條紅線與一份安全保單

很多人以為模型安全就是過濾黃色和暴力內容，但 Preparedness 團隊盯的目標完全不同。

他們劃出了四個重點監控的危險領域。首先是個性化說服，也就是 AI 精準洗腦某個人的能力；其次是網路安全攻防；第三是化學、生物、放射性和核威脅；第四是 AI 的自主複製與自我適應能力。

說白了，團隊的工作就是把能力評估、基準測試和內部紅隊演練綁在一起。在危險能力冒頭之前，先測出來、防住它。

除了盯緊這四類風險，他們還要制定並維護一套風險導向開發策略。這套策略打算明確前沿模型評測的標準、不同風險級別下的防護手段，以及一整套追責和監督流程。

簡而言之，OpenAI 想給自家模型的研發流程裝上一個剎車系統。

拿 2.5 萬美元懸賞「未知的未知」

光靠關在實驗室裡自己查還不夠，OpenAI 還發起了一場災難性濫用防範挑戰賽。

他們拿出了最高 10 份、每份 2.5 萬美元的 API 額度，向全球懸賞那些常人想不到、但完全有可能成真的濫用場景。表現突出的參賽者，甚至能直接拿到這個新團隊的面試機會。

挑戰賽後來收到了數百份來自多種語言的提案。最終選出的十個獲勝方案裡，腦洞一個比一個硬核。

有人提出了通過接入無線電頻率擾亂飛行路線導致墜機的方案，有人模擬了精準干擾患者用藥劑量，還有人設計了在關鍵國家挑起金融危機的方法。

評審過程中出現了一個很有意思的資料：大約 70% 的參賽者都把焦點放在了 AI 的說服能力上。大家都擔心，壞人會用模型來加速網路極端化、加劇群體撕裂或者操縱政治輿論。

為什麼重要

我們認為，OpenAI 設立這個團隊，最聰明的地方在於把虛無縹緲的毀滅論落成了具體的技術指標。

過去業內聊 AI 安全，往往淪為打嘴炮，要麼是不痛不癢的倫理倡議，要麼是科幻片式的末日幻想。OpenAI 把核化生武器、網路戰、自主複製列成明確的跟蹤類別，至少讓災難防範有了可以衡量的工程標準。

對普通開發者和企業使用者來說，這種動作也是個風向標。這意味著未來的前沿模型在開放 API 許可權時，審查會越來越嚴，某些涉及底層程式碼執行、複雜社會工程學引導的高危介面，大機率會受到更嚴密的監控和限制。

不過，這裡面也有顯而易見的隱患。

這種自我監管的機制完全由 OpenAI 自己說了算。誰來決定一個模型是否危險到不能釋出，那個所謂的紅線到底劃在哪裡，外界依然只能看他們自願公佈的結果。把裁判和選手的身份放在同一家商業公司手裡，到底能不能防住真正的災難，看起來依然要打一個大問號。