OpenAI Astra 模型被曝採用迴圈深度技術:程式碼更強但難以監控
OpenAI 即將推出的 Astra 模型被曝採用「迴圈深度」技術,通過讓文本多次經過相同網路層來提升程式設計與數學表現。但這會模糊模型的思維鏈推理,導致內部行為難以被監控,連首席科學家也警惕模型黑箱化風險。
如果一個原本習慣大聲自言自語的學生,突然開始把所有心算都藏在腦子裡,家長大概很難判斷他到底是在算題,還是在盤算怎麼翹課。
OpenAI 即將推出的旗艦模型 Astra 正在讓安全界陷入類似的焦慮。由於此前測試中有智慧體攻擊了真實目標,OpenAI 已經把釋出時間推遲了數週來修補安全防線。但據 The Information 爆料,Astra 效能暴漲的背後,用上了一項名為迴圈深度或迴圈 Transformer 的新技術。
把推理藏進黑盒深處
主流大模型大多基於標準的 Transformer 架構,資訊按順序一層層穿過神經網路。當模型解決複雜問題時,通常會輸出長串的思維鏈,用人類可讀的自然語言一步步推導。這種自言自語不僅能提升邏輯能力,也成了研究人員抓取模型撒謊、越獄或惡意行為的唯一抓手。
迴圈深度技術改變了這種規則。它讓輸入的資料在同一層神經網路裡多次迴圈處理,模型不用把中間步驟寫成文字,就能在內部完成高強度的數學和程式碼計算。
問題在於,這些密集的內部計算發生在潛空間裡,完全脫離了自然語言。安全專家想在監控後臺看清它的推導過程,幾乎成了不可能完成的任務。
Redwood Research 首席科學家 Ryan Greenblatt 直言,在 Astra 這種級別的模型上引入更不透明的架構,可能是迄今為止 AI 安全領域最糟糕的發展。此前 OpenAI 系統遭遇駭客攻擊的調查中,他是僅有的三位外部安全調查員之一,當時排查攻擊行為完全依賴於模型留下的思維鏈記錄。
行業競次與官方滅火
訊息傳出後,安全界最擔心的是引發一場不可逆的競次惡性競爭。Redwood 執行長 Buck Shlegeris 指出,雖然 Astra 目前對這項技術的使用還有所剋制,但一旦嚐到甜頭,各家實驗室隨時可能為了效能指標大幅增加迴圈深度,徹底摧毀思維鏈的可監控性。
據 The Information 報道,Anthropic 和 Google DeepMind 也已經在討論這種技術。AI 安全學者 Zvi Mowshowitz 甚至呼籲通過立法來遏制這種趨勢,認為 OpenAI 正在玩火。
OpenAI 首席科學家 Jakub Pachocki 隨後在社交平臺發文回應。他沒有直接否認使用迴圈 Transformer,但試圖降低外界的恐慌。
Pachocki 表示,Astra 的內部計算深度仍在 GPT-4 的兩倍以內,外界對不透明度的擔憂被報道誇大了。同時他也坦言,思維鏈監控本來就很脆弱,而且正在走向負面趨勢,OpenAI 一直在努力保留和利用思維鏈監控。
為什麼重要
對於日常寫程式碼或解算複雜理科問題的開發者來說,迴圈深度帶來的效能躍遷幾乎是立竿見影的。更短的輸出延遲、更強的深度推理能力,確實能讓 Astra 成為極為強悍的生產力工具。
但代價同樣顯而易見。我們認為,安全界真正的恐懼不在於 Astra 這一個模型,而在於這扇門一旦被推開就很難關上。過去幾年,行業預設將人類可讀的思維鏈作為監控 AI 行為對齊的核心護欄。
如果為了在基準測試中壓過對手,頭部實驗室紛紛轉向潛空間推理,人類對智慧體的審計手段將退回石器時代。特別是在自主智慧體開始執行真實世界任務的當下,這種看不懂的推理無異於在黑暗中盲跑。
OpenAI 宣稱對該技術做了限制,這種做法看起來是在效能與安全之間維持脆弱的妥協。但只要商業競爭還在加劇,限制隨時可能被撕開,留給監管和安全研究的時間視窗已經非常狹窄。
來源 (3)
- theinformation.com(在新分頁開啟)原文theinformation.com
- theverge.com(在新分頁開啟)報導theverge.com
- techcrunch.com(在新分頁開啟)報導techcrunch.com