跳到正文
IFAI

產業動態

OpenAI 認同放慢前沿研發:奧特曼承諾引入外部獨立評估員

首次發布 傳播指數 44

OpenAI CEO Sam Altman 公開贊同 Anthropic CEO Dario Amodei 放緩前沿 AI 研發步伐的提議。Altman 稱這已是近期內部的核心討論議題,並承諾將為獨立外部評估員提供員工級的系統訪問許可權。兩大領頭羊罕見在安全剎車機制上達成一致。

OpenAI 認同放慢前沿研發:奧特曼承諾引入外部獨立評估員
圖:scalevise.com

OpenAI 和 Anthropic 這對老對手,罕見地在「踩剎車」這件事上達成了一致。

OpenAI 執行長 Sam Altman 公開表態,贊同 Anthropic 執行長 Dario Amodei 關於前沿 AI 開發需要把控節奏的呼籲。Altman 透露,如何把控前沿技術的研發速度,是 OpenAI 最近幾週內部討論的核心議題。

讓外部評估員拿「員工工牌」

此前,Amodei 發文呼籲整個 AI 行業放慢腳步,並單方面承諾為第三方獨立評估機構提供永久的、等同於員工級別的系統訪問許可權。這些評估員可以藉此核驗安全規範的執行情況、通報突發事件,並直接檢查模型在訓練期間的對齊狀態。

Altman 評價這個主意非常棒,並明確表示 OpenAI 也會跟進同樣的操作。關於具體的落實細節,OpenAI 很快會對外公佈。

為什麼重要

過去兩年裡,前沿大模型競賽一直處在爭先恐後釋出、誰也不敢落後的緊張狀態。兩家領跑者公開承認需要放慢節奏,甚至願意把系統大門向外部審計人員敞開,這在行業裡還是頭一次。

我們認為,允許獨立評估員在模型訓練期就拿到員工級許可權,比以往產品上線後再做黑盒紅隊測試要深入得多,這是在安全監督上走得挺聰明的一步。但看起來,這種自律倡議能產生多大約束力,關鍵還在於具體細節:誰來擔任評估員、他們是否有權叫停釋出,以及當競爭對手加速時,這份默契還能維持多久。

來源 (1)

  1. [1]
    x.com(在新分頁開啟)原文x.com

每日 AI 內容精選