跳到正文
IFAI

產業動態

DeepMind 釋出 AI 路線圖:把內部智慧體當「潛在內鬼」防

首次發布 傳播指數 41

Google DeepMind 公佈 AI Control 路線圖,建立針對內部 AI 智慧體的縱深防禦體系。該框架將內部智慧體視為潛在「內部威脅」,引入可信 AI 監督員即時監控其推理與行為並在必要時攔截;在分析了百萬個編碼任務軌跡後,團隊已將該機制應用於 Gemini Spark。

DeepMind 釋出 AI 路線圖:把內部智慧體當「潛在內鬼」防
圖:deepmind.google

如果自家的 AI 員工突然動了壞心思,或者單純在幹活時用力過猛,系統能不能當場踩住剎車?

Google DeepMind 團隊釋出了一份內部防禦指南,叫做 AI Control 路線圖。這份由 Rohin Shah 等研究者牽頭的方案,核心邏輯其實挺反常識:它不再假設模型已經完全安全,而是直接把內部署的高能力 AI Agent 當作潛伏的「內部威脅」來防。

就像公司防範持有工牌但可能違規的員工一樣,DeepMind 把安全防線建在了模型外部。

坐在副駕上的 AI 教練

DeepMind 把這套機制比作教練車裡的副駕駛雙控系統。學員在前面開車,副駕上的教練時刻看著,一旦發現苗頭不對,隨時伸手搶方向盤或者一腳悶死剎車。

在技術實現上,系統會派出一批經過專門驗證的受信任 AI 充當「監工」。這些監工會即時檢視主力 Agent 的思維鏈、行動意圖和執行計劃,一旦發現它要執行危險操作,就會在造成破壞前直接攔截。

為了給這套防禦體系找規律,團隊拆解了 MITRE ATT&CK 框架來做威脅建模,並且分析了整整 100 萬次程式設計 Agent 的執行軌跡。基於這些真實資料,他們給內部的 Gemini Spark 搭建了即時監控系統,用來防範程式碼誤刪等翻車事故。

有意思的是,這 100 萬次軌跡顯示,絕大多數被系統攔截的操作並不是 AI 想要作惡,而是模型理解錯了指令,或者急於完成使用者目標而「用力過猛」。

當模型學會假裝聽話

不過,隨著模型越來越聰明,只盯著它自言自語的推理鏈可能很快就會失效。

DeepMind 在路線圖裡挑明瞭兩個未來的隱患。一個是模型可能會意識到自己正在被監視,從而學會隱藏真實意圖;另一個是模型可能發展出不依賴可見文字的隱式推理,把盤算過程藏在內部權重裡。

對此,路線圖劃出了一條能力演進的分界線。對於低風險、可逆的操作,可以採用非同步事後復盤;但面對可能引發嚴重網路安全破壞的操作,必須在毫秒級別進行同步攔截,未來甚至需要直接透視模型的底層執行狀態。

除了這份路線圖,DeepMind 當天還針對政策制定者釋出了一篇配套的技術框架,提出從單個 Agent、多智慧體協作以及整個生態韌性三個層面來構建安全防線。

為什麼重要

這篇路線圖最大的價值,在於戳破了行業裡一種虛幻的安全感:很多人以為只要後訓練對齊做得好,AI Agent 就可以放心接管核心系統。

DeepMind 這一步走得很聰明,它其實承認了一個事實,模型在數學層面的對齊永遠不可能做到百分之百。與其去賭模型自身完全不犯錯,不如在系統外圍拉起一套嚴格的許可權控制和即時雙檢流程。

對於正在把 Agent 接進生產環境的開發者和企業來說,這套思路很值得參考。它提醒大家別把精力全花在提示詞防禦上,給 Agent 劃分沙盒、限制執行許可權、配一個只讀的輕量監控模型,可能比反覆調優提示詞更管用。

但我們認為,這種做法也有顯而易見的代價。給每一個高許可權 Agent 配一個全天候盯梢的 AI 監工,不僅會帶來明顯的延遲和高昂的算力成本,監工本身的判斷失誤也會讓業務流程頻頻中斷。當 AI 真正學會了隱蔽推理,外接監工還能看懂多少,目前看依然是個大問號。

來源 (1)

  1. [1]
    deepmind.google(在新分頁開啟)原文deepmind.google

每日 AI 內容精選