跳到正文
IFAI

產業動態

OpenAI 成立安全委員會:下代前沿模型已開練,90 天內出安全建議

首次發布 傳播指數 39

OpenAI 董事會宣佈成立安全與保障委員會,由董事長 Bret Taylor 及 CEO Sam Altman 等人牽頭,負責評估關鍵安全決策。OpenAI 同時披露已開始訓練下一代前沿模型,該委員會將在 90 天內評估現有安全流程並向董事會提交建議,隨後對外公佈採納方案。

OpenAI 成立安全委員會:下代前沿模型已開練,90 天內出安全建議
圖:openai.com

一邊悄悄啟動下一代前沿模型的訓練,一邊趕緊在董事會下面搭起一道防火牆。OpenAI 這次把安全架構重新理了一遍。

OpenAI 董事會宣佈正式成立安全與安保委員會,專門負責就所有專案的關鍵安全和安保決策向全體董事會提建議。與此同時,他們順口放出了一個大訊息:公司最近已經開始訓練下一個前沿模型,目標是朝著通用人工智慧再邁一步。

90 天交卷,既當運動員又當裁判?

新委員會的第一項核心任務,就是在未來 90 天內評估並完善現有的安全流程和防護機制。90 天期限一到,委員會要把建議提交給全體董事會,之後 OpenAI 會以符合安全規範的方式對外公開被採納的整改建議。

委員會由董事會主席 Bret Taylor、Adam D’Angelo、Nicole Seligman 以及執行長 Sam Altman 親自領銜。隨後,新加入董事會的退役美軍陸軍上將 Paul M. Nakasone 也進入了該委員會。

除了董事會成員,委員會還吸納了一批技術和安全核心高管,包括準備團隊負責人 Aleksander Madry、安全系統負責人 Lilian Weng、對齊科學負責人 John Schulman、安全主管 Matt Knight 以及新任首席科學家 Jakub Pachocki。

他們還拉來了外部專業力量,前網路安全官員 Rob Joyce 和 John Carlin 將作為顧問參與這項評估工作。

為什麼重要

對關心下一代大模型進展的開發者和行業來說,這釋放了一個明確訊號:GPT-4 之後的下一代前沿模型已經在訓練機架上跑起來了。接下來的幾個月,隨著 90 天安全審查結束,我們很可能會看到 OpenAI 為下一代大模型劃定的新紅線與部署規則。

從行業競爭和公關策略來看,OpenAI 這步棋走得很精明,但也留下了顯而易見的爭議點。

聰明的地方在於,隨著前沿模型的能力逼近臨界點,國家安全和網路安全成了監管機構最敏感的神經。拉入前美軍將領和國家級網路安全官員做背書,能幫他們在政客和軍方監管面前築起一道極硬的信任屏障。

但隱患同樣明顯。我們認為,這個委員會最大的問號在於獨立性。CEO Sam Altman 親自坐在安全委員會裡,相當於重大安全風險的審查者和公司商業化擴張的主導者是同一個人,既當裁判又當運動員。

內部技術主管固然懂技術細節,但在面對商業上線壓力和重大安全分歧時,這套治理機制到底能不能真正踩下剎車,還得看 90 天后交出的報告到底有多硬核。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

話題追蹤OpenAI 領導層危機

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 政策研究員 Rosie 離職:AGI 準備團隊解散後難以為繼
  2. OpenAI 聯合創始人 Brockman 結束休假歸隊:將聚焦重大技術挑戰
  3. OpenAI 再失安全領軍人:研究副總裁 Lilian Weng 宣佈離職
  4. OpenAI 推進營利性轉型:已就重組與加州監管部門展開接洽
  5. OpenAI 完成 66 億美元新融資:投後估值達 1570 億美元

每日 AI 內容精選