跳到正文
IFAI

大模型

OpenAI 推出 Control Room:發現安全隱患 35 秒內剎停 AI 作業

首次發布 傳播指數 64

OpenAI 推出內部安全系統 Control Room,集中監控其研究基礎設施中的模型推理與智慧體取樣任務。它與失準監控系統協同運作,一旦下達干預指令,35 秒內即可徹底停止模型輸出或暫停作業。這是 OpenAI 針對前沿模型訓練部署設下的重要安全剎車機制。

OpenAI 推出 Control Room:發現安全隱患 35 秒內剎停 AI 作業
圖:en.wikipedia.org

AI 越來越能自主幹活,但在它失控狂奔時,人類能不能隨時拔掉插頭?

OpenAI 拿出了一個給內部研究基礎設施準備的中央剎車系統:Control Room。

35 秒內拔掉插頭

簡單來說,Control Room 把 OpenAI 內部的所有研究推理負載連在了一起,覆蓋了模型訓練與評估中的智慧體取樣、資料處理等任務。

它和原有的失準監控系統協同運作。一旦監控發現安全隱患,或者管理人員決定介入,系統可以在下達指令後的 35 秒內,徹底停掉模型輸出,或者暫停整個作業。

隨著大模型向高自主性的智慧體演進,它們開始自己呼叫工具、進行多步推理。如果模型在取樣過程中出現越界或對齊偏差,傳統的“等作業跑完再排查”很容易讓大量被汙染的資料混入訓練集。Control Room 要解決的,正是這種執行時的失控風險。

為什麼重要

我們認為,OpenAI 這一步走得相當務實。面對越來越複雜的智慧體任務,安全防線必須從傳統的事後測試,前移到即時的執行監控與強制干預。

把剎車響應時間壓縮到 35 秒內,實際上是給大規模分散式叢集設立了一個明確的工程控制底線。雖然 Control Room 目前只面向 OpenAI 內部的研究體系,外部開發者暫時用不上,但它給整個前沿模型研發打了個樣:追求更強算力和更高自主性的同時,叢集底層的緊急制動系統必須是標配。

來源 (3)

  1. [1]
  2. [2]
    @OpenAI(在新分頁開啟)討論x.com
  3. [3]

話題追蹤OpenAI 的 AI 安全與治理

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 推出 Control Room:發現安全隱患 35 秒內剎停 AI 作業本則
  2. 被解僱研究員發公開信反擊:OpenAI安全文化正在經歷「寒蟬效應」
  3. OpenAI 核心安全主管離職:發文警告衝刺文化正在破壞 AI 安全
  4. 涉嫌向外部機構洩密:OpenAI 解僱 3 名安全研究員
  5. OpenAI 董事會添新成員:對齊研究專家 Paul Christiano 加入

每日 AI 內容精選