OpenAI 推出 Control Room:發現安全隱患 35 秒內剎停 AI 作業
OpenAI 推出內部安全系統 Control Room,集中監控其研究基礎設施中的模型推理與智慧體取樣任務。它與失準監控系統協同運作,一旦下達干預指令,35 秒內即可徹底停止模型輸出或暫停作業。這是 OpenAI 針對前沿模型訓練部署設下的重要安全剎車機制。

AI 越來越能自主幹活,但在它失控狂奔時,人類能不能隨時拔掉插頭?
OpenAI 拿出了一個給內部研究基礎設施準備的中央剎車系統:Control Room。
35 秒內拔掉插頭
簡單來說,Control Room 把 OpenAI 內部的所有研究推理負載連在了一起,覆蓋了模型訓練與評估中的智慧體取樣、資料處理等任務。
它和原有的失準監控系統協同運作。一旦監控發現安全隱患,或者管理人員決定介入,系統可以在下達指令後的 35 秒內,徹底停掉模型輸出,或者暫停整個作業。
隨著大模型向高自主性的智慧體演進,它們開始自己呼叫工具、進行多步推理。如果模型在取樣過程中出現越界或對齊偏差,傳統的“等作業跑完再排查”很容易讓大量被汙染的資料混入訓練集。Control Room 要解決的,正是這種執行時的失控風險。
為什麼重要
我們認為,OpenAI 這一步走得相當務實。面對越來越複雜的智慧體任務,安全防線必須從傳統的事後測試,前移到即時的執行監控與強制干預。
把剎車響應時間壓縮到 35 秒內,實際上是給大規模分散式叢集設立了一個明確的工程控制底線。雖然 Control Room 目前只面向 OpenAI 內部的研究體系,外部開發者暫時用不上,但它給整個前沿模型研發打了個樣:追求更強算力和更高自主性的同時,叢集底層的緊急制動系統必須是標配。
來源 (3)
- @OpenAI(在新分頁開啟)討論x.com
話題追蹤OpenAI 的 AI 安全與治理
- OpenAI 推出 Control Room:發現安全隱患 35 秒內剎停 AI 作業本則
- 被解僱研究員發公開信反擊:OpenAI安全文化正在經歷「寒蟬效應」
- OpenAI 核心安全主管離職:發文警告衝刺文化正在破壞 AI 安全
- 涉嫌向外部機構洩密:OpenAI 解僱 3 名安全研究員
- OpenAI 董事會添新成員:對齊研究專家 Paul Christiano 加入