跳到正文
IFAI

AI科研

MIT 演示 AI 直接重寫模型權重:無需訓練,僅改 0.016% 修復小模型缺陷

首次發布 傳播指數 47

MIT 研究人員發現,OpenAI 的 GPT-6 Astra 能在不進行二次訓練的情況下,直接讀取並修改其他小模型的連續權重。在測試中,Astra 僅修改了 Qwen 模型 0.016% 的權重就修補了死迴圈缺陷,將其數學得分從 7.9% 拉高至 48.1%。這意味著前沿模型未來或能直接在底層手動升級 AI,無需依賴繁重的訓練流程。

MIT 演示 AI 直接重寫模型權重:無需訓練,僅改 0.016% 修復小模型缺陷
圖:therundown.ai

如果要讓你看著幾千萬個毫無規律的浮點數字,一眼猜出這個神經網路到底在玩什麼遊戲,甚至親手改掉其中幾個數字讓它算力暴增,正常人肯定覺得這是天方夜譚。

但前沿大模型已經開始做這種「腦外科手術」了。

不跑訓練,直接改寫底層引數

MIT 的最新研究展示了一種全新的最佳化方式:權重空間程式設計(Weight-Space Programming)。研究人員發現,OpenAI 的 GPT-6 Astra 可以直接讀取並修改其他神經網路的權重數字,完全跳過了傳統的訓練和梯度下降流程。

過去大家最佳化模型,必須準備資料集、寫訓練迴圈,交給最佳化器去一點點調整。因為哪怕是最小的模型,引數量也多到人類根本讀不懂。

這次 Astra 卻展現出了直接看懂數字的能力。研究人員把幾個結構完全相同的網路權重餵給它,Astra 僅憑權重數值的分佈特徵,就準確猜出了每個網路各自訓練的是哪款遊戲。比如在打磚塊遊戲裡,它一眼認出了位於底層的球拍特徵。

甚至在沒有任何環境反饋的情況下,Astra 還能從零手動捏出一個小遊戲網路,跑起來的效果比用強化學習訓練了上億步的模型還要好。

0.016% 的手術式修復

更驚人的測試發生在真實語言模型上。

阿里的開源小模型 Qwen3.5-0.8B 原本有個容易陷入死迴圈的毛病,在 MATH-500 數學測試裡只拿到 7.9% 的慘淡分數。Astra 在沒有任何梯度最佳化的前提下,直接定位並修改了該模型 0.016% 的權重。

就這麼極小比例的手術式修改,讓 Qwen 的數學成績直接飆到了 48.1%,連帶指令遵循測試 IFEval 也漲了三倍。

不過這種方法目前並非萬靈藥。當研究人員用同樣的方法去修改 Google 的 Gemma 3 小模型時,效果就幾乎沒動。原因在於 Gemma 3 沒有 Qwen 這種單一集中的死迴圈缺陷,說明大模型現在還只能解決特徵明顯的單點故障。

為什麼重要

我們認為,這項研究最值得玩味的地方,在於它打破了深度學習一直以來的黑盒規則。

過去我們總覺得神經網路的連續權重是一堆不可讀的混沌數字,必須靠反向傳播演算法慢慢摸索。但現在前沿大模型正在證明,它們能像程式設計師讀寫程式碼一樣,直接讀寫這堆數字背後的邏輯。

對普通開發者來說,這意味著未來的微調可能不再需要租用昂貴算力去跑漫長的訓練。如果模型出了特定 Bug,也許只要呼叫大模型做一次微創手術,精準改掉幾百個引數就能解決。

但在行業層面,這種能力也帶來了真正的冷汗時刻。頂尖實驗室一直在追逐能夠自我迭代、自我改進的自動化 AI 研究員。一旦模型不僅能寫程式碼,還能繞過訓練機制直接篡改自身或同類的底層權重,傳統的安全對齊和紅線防護很可能會被瞬間穿透。這究竟是加速飛輪還是失控起點,現在誰心裡都沒底。

來源 (2)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com
  2. [2]
    rikiyat.github.io(在新分頁開啟)報導rikiyat.github.io

每日 AI 內容精選