跳到正文
IFAI

產業動態

OpenAI 成立紅隊網路:廣招外部專家測漏洞,年投 5 小時也行

首次發布 傳播指數 37

OpenAI 宣佈成立紅隊網路,面向全球招募外部專家參與模型安全與對抗測試。成員將按專案獲得報酬,每年投入可低至 5 到 10 小時。這意味著 OpenAI 正在將過去模型釋出前的一次性審查,轉變為持續、常態化的跨領域協同防禦。

OpenAI 成立紅隊網路:廣招外部專家測漏洞,年投 5 小時也行
圖:openai.com

在大模型釋出前,找專家把模型往壞了調教、誘導它說胡話或幹壞事,這在業內叫紅隊測試。以前 OpenAI 搞紅隊測試,基本是發大版本前臨時拉群搞突擊檢查。現在他們打算把這事常態化了。

OpenAI 宣佈公開招募成立紅隊測試網路,邀請全球各領域的外部專家加入,評估和測試旗下 AI 模型的安全性。這輪申請開放到 12 月 1 日。

不再搞發版前突擊,拉一支常備軍

過去幾年裡,OpenAI 的紅隊測試逐步從內部對抗測試,拓展到了聯合外部專家評估潛在風險。比如在釋出 DALL-E 2 和 GPT-4 之前,他們都找過外部力量來挑刺。

但以前的合作大多是一次性的,新模型上線前突擊測一把就散夥。這次組建紅隊測試網路,目的是把外部專家的參與貫穿到模型和產品的整個開發週期中。

入選網路的專家不需要參與每一個新模型的測試。OpenAI 會根據具體專案的需求,匹配合適領域的專家,希望引入更持續、更多樣化的外部視角。

OpenAI 強調,他們不強制要求申請者懂技術或懂大模型。只要在特定領域有專業沉澱,能夠幫 AI 劃出風險邊界即可。招聘看重地域和學科背景的多樣性,語言能力也在考量範圍內。

每年幹 5 小時也行,但得籤保密協議

加入這個網路並不意味著要全職打工。OpenAI 把時間門檻放得很低,專家可以根據自己的日程靈活調整,哪怕一年只投入 5 到 10 個小時也行。

參與具體的紅隊測試專案是有報酬的,OpenAI 會按付出支付對酬。成員平時還能在網路內部交流測試經驗和發現。

不過,天下沒有免費的午餐。參與紅隊測試的工作需要嚴格簽署保密協議,部分專案甚至需要無限期保密。雖然 OpenAI 經常會在後續的模型系統說明文件或部落格中公佈部分測試成果,但私下並不能隨意對外透露細節。

除了這個專家網路,OpenAI 也提到了其他協作安全途徑,比如開源的 Evals 評測倉庫和研究員訪問計劃,鼓勵大家去測測 AI 會不會傳遞隱藏暗號,或者能不能哄騙另一個 AI 轉賬。

為什麼重要

我們認為,OpenAI 這一步走得相當聰明,但也留下了不小的疑點。

對於具備專業背景的人來說,這是一個提前接觸前沿未釋出模型、影響全球頂級 AI 規則的視窗。每年只要投入幾個小時,還能拿到報酬,門檻看起來並不高。但保密協議是硬約束,對於那些靠公開發表論文吃飯的學術界學者來說,這種必須長期封口的研究可能會讓人有些猶豫。

對整個行業而言,大模型的安全風險早已超出了純程式碼的範疇。生化危險、法律漏洞、社會偏見,光靠程式設計師自己坐在辦公室裡想根本防不住。OpenAI 把紅隊測試常備化,相當於建了一座自己的外腦智庫,這會倒逼 Anthropic 和 Google 等競爭對手也加快建立各自的專業防禦陣地,過去那種上線前兩週隨便找人測試的糊弄做法行不通了。

但隱患同樣明顯。這種由廠商發津貼、籤保密協議的受邀測試,本質上還是企業主導的閉門眾包質檢。看起來熱鬧,卻代替不了完全獨立的第三方外部審計。只要關鍵資料和漏洞是否公開的決定權依然握在 OpenAI 自己手裡,外界對模型安全性的質疑就不會真正消失。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

話題追蹤白宮 AI 安全協議

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 成立紅隊網路:廣招外部專家測漏洞,年投 5 小時也行本則
  2. OpenAI 聯合多家機構落實白宮安全承諾:給前沿 AI 戴上緊箍

每日 AI 內容精選