跳到正文
IFAI

產業動態

OpenAI 董事會迎來新成員:AI 安全學者 Zico Kolter 加盟

首次發布 傳播指數 40

OpenAI 宣佈任命卡耐基梅隆大學機器學習系主任 Zico Kolter 進入董事會,並加入安全與安保委員會。Kolter 長期專注模型魯棒性與對齊研究。面對外界對安全性的審視,OpenAI 顯然希望拉來懂技術的學術專家強化自身治理。

OpenAI 董事會迎來新成員:AI 安全學者 Zico Kolter 加盟
圖:openai.com

過去一年裡,OpenAI 的董事會幾乎把各路背景的人請了個遍,從政界元老到商業法律精英,唯獨在真正的 AI 安全硬核技術上,大家總覺得少了一副懂行的眼睛。

現在這個人來了。8 月 8 日,OpenAI 宣佈卡內基梅隆大學電腦科學教授、機器學習系主任 Zico Kolter 正式加入公司董事會,同時進入董事會下屬的安全與安保委員會。

專找大模型漏洞的學者進了董事會

說起安全,很多人以為是定幾條規範或者搞倫理審查,但 Zico Kolter 的研究路子非常硬核。

他在卡內基梅隆大學幹了 12 年,早年從斯坦福拿到博士學位,又在麻省理工學院做過博士後,拿過 NeurIPS 和 ICML 等頂級會議的多篇獲獎論文。

他最出名的一項研究是在 2023 年完成的。當時他的團隊搞出了一套自動化攻擊大語言模型的方法,證明了完全可以用自動最佳化演算法,直接撕開主流大模型的安全防護欄。

除了教 AI 怎麼抵禦駭客式的對抗攻擊,他還做過怎麼在神經網路裡嵌入硬性約束、確保模型魯棒性的底層研究。換句話說,他不僅懂怎麼給大模型做體檢,更懂怎麼把模型給打穿。

既搞學術又混工業界的技術派

Zico Kolter 並不是那種只待在象牙塔裡的學者。

他之前擔任過 C3.ai 的首席資料科學家,現在依然兼任博世的首席專家,還是 AI 安全初創公司 Gray Swan 的首席技術顧問。

進入 OpenAI 之後,他將和董事會主席 Bret Taylor、Adam D'Angelo、前美國國家安全域性局長 Paul Nakasone、Nicole Seligman 以及執行長 Sam Altman 一起,坐在安全與安保委員會裡,參與對所有專案的重大安全決策提出建議。

Bret Taylor 表示,Zico 帶來了深厚的技術理解,有助於確保通用人工智慧造福全人類。

為什麼重要

我們認為,OpenAI 這次找來 Zico Kolter,是最近幾輪董事會擴建裡最切中要害的一步棋。

自從之前的高層震盪以及超級對齊團隊核心人員出走之後,外界一直懷疑 OpenAI 的治理層到底還有沒有能力、或者有沒有意願去監管技術風險。新進來的幾位董事雖然背景顯赫,但在前沿深度學習安全上缺少發言權,很容易變成純粹的管理型角色。

引入一位真正在一線研究對抗攻擊和模型魯棒性的頂尖學者,至少能讓安全委員會在開會時,有人能聽懂工程師交上來的技術報告背後到底藏了什麼風險。

對普通開發者和企業使用者來說,這意味著 OpenAI 可能會把模型對抗性防禦提上更高優先順序。如果像 Zico 團隊研究的那種自動化越獄攻擊能夠從架構底層被封堵,商用 API 的合規與防禦成本會小很多。

但隱患依然存在。安全與安保委員會目前的職責僅限於提供建議,而董事會裡已經坐著執行長 Sam Altman 本人。當模型釋出的時間表與潛在的安全隱患發生衝突時,一位獨立學者的話語權到底有多大,依然有待觀察。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

話題追蹤OpenAI 領導層危機

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 政策研究員 Rosie 離職:AGI 準備團隊解散後難以為繼
  2. OpenAI 聯合創始人 Brockman 結束休假歸隊:將聚焦重大技術挑戰
  3. OpenAI 再失安全領軍人:研究副總裁 Lilian Weng 宣佈離職
  4. OpenAI 推進營利性轉型:已就重組與加州監管部門展開接洽
  5. OpenAI 完成 66 億美元新融資:投後估值達 1570 億美元

每日 AI 內容精選