跳到正文
IFAI

AI科研

OpenAI 成立超級對齊團隊:押上 20% 算力,四年內解決失控風險

首次發布 傳播指數 39

OpenAI 宣佈成立「超級對齊」團隊,由首席科學家 Ilya Sutskever 和 Jan Leike 共同牽頭。團隊計劃在未來四年投入已掌握算力的 20%,目標是造出人類水平的自動化對齊研究員,用 AI 監督更聰明的 AI。OpenAI 認為超級智慧可能在十年內到來,人類必須趕在失控前找到可擴充套件的控制方案。

OpenAI 成立超級對齊團隊:押上 20% 算力,四年內解決失控風險
圖:openai.com

如果有一天,你創造出的工具比你聰明成千上萬倍,你該怎麼確保它不反咬你一口?

這聽起來像是科幻小說的設定,但 OpenAI 覺得,這件事在未來十年內就可能發生。7 月 5 日,OpenAI 宣佈組建一個全新的核心團隊,取名為「超級對齊」(Superalignment)。

為了攻克這個難題,OpenAI 拿出了相當誇張的資源:在未來四年裡,直接撥出公司目前已鎖定的 20% 算力。團隊由 OpenAI 聯合創始人兼首席科學家 Ilya Sutskever,以及對齊團隊負責人 Jan Leike 共同帶隊。

他們的目標非常明確,要在四年之內,徹底解決控制超級智慧 AI 的核心技術挑戰。

讓人類監督比自己更聰明的存在,本來就是個偽命題

OpenAI 提出這個計劃的邏輯很現實。現在的 ChatGPT 靠的是人類反饋強化學習(RLHF),也就是人類看著 AI 給出的答案,告訴它哪個更好、哪個不對。

但這套方法有個致命的前提:人類得看得懂 AI 的操作,得比 AI 懂得多。一旦超級智慧出現,它的複雜程度遠遠超出人類大腦的理解範圍,人類根本沒辦法去可靠地監督它。

換句話說,現在的對齊手段,在超級智慧面前完全無法擴充套件。如果找不到新方法,人類就可能面臨失去對 AI 控制權的風險,甚至威脅到人類生存。

OpenAI 給出的解法很有一點「用魔法打敗魔法」的味道:先造出一個大致達到人類水平的「自動化對齊研究員」。然後把大量算力堆上去,讓這個 AI 研究員去監督和對齊更強大的系統。

具體來說,他們規劃了三個主要步驟。首先是研發可擴充套件的監督機制,讓 AI 輔助評估其他 AI,並研究模型如何把安全規則推導到人類看不懂的未知任務上。

其次是內部驗證,通過自動化工具去掃描系統內部的異常行為和內部表徵,就像給 AI 做腦部 CT。

最後是壓力測試,他們甚至計劃故意訓練出惡意、不對齊的模型,專門用來檢驗這套防禦機制能不能把最壞的失控情況揪出來。

他們還公開表示,超級對齊本質上是一個機器學習問題,正在全球蒐羅頂尖的演算法人才,並且研究成果會向整個行業開源共享。

為什麼重要

我們認為,OpenAI 這次成立超級對齊團隊,最值得玩味的是它對行業發出的訊號。

對普通開發者和使用者來說,這個團隊在短時間內可能不會帶來什麼立竿見影的消費級功能。你不會馬上看到一個更聰明的聊天機器人,但這決定了未來更強大的通用人工智慧在進入社會時,會不會帶著致命的不可控漏洞。

對整個行業而言,Ilya Sutskever 親自掛帥並壓上兩成算力,相當於把「AI 生存危機」從學術邊緣的清談,正式推成了頭部實驗室最核心的工程攻堅戰。這會倒逼 Google、Anthropic 等競爭對手不得不拿出同等級別的算力和人才儲備來應對,甚至可能重塑資本市場評估 AI 實驗室安全投入的標準。

從做法上看,OpenAI 的設想看起來非常性感,但隱患也很刺眼。他們指望造出一個人類水平的 AI 來代替人類搞研究,本質上依然是在把安全信任鏈建立在 AI 身上。

如果最開始用來做監督的那個 AI 本身就存在隱秘的偏見、誤解甚至偽裝,那後續層層遞進的自動化對齊,就可能變成一個人類根本無法察覺的系統性盲區。讓 AI 監管更聰明的 AI,既是目前唯一算力上走得通的路徑,也是一場勝負未卜的高空走鋼絲。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

話題追蹤OpenAI 超智慧安全與治理戰略

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 成立超級對齊團隊:押上 20% 算力,四年內解決失控風險本則
  2. OpenAI 談超級智慧治理:呼籲建立類似 IAEA 的國際監管機構

每日 AI 內容精選