權重空間程式設計：GPT-6 Astra 直接改寫模型引數，數學跑分翻 6 倍

如果要給一個程式找漏洞，程式設計師通常會去看原始碼，而不是直接去翻編譯好的二進位制機器碼。但在深度學習的世界裡，神經網路被訓練完後留下的就是一堆密密麻麻的數字——模型權重。過去幾十年來，沒有任何一個人類工程師能夠單憑肉眼看懂幾億個浮點數到底在幹什麼，更別說直接伸手去修改了。

最近研究人員提出了一種名為「權重空間程式設計」的新概念，展示了 OpenAI 的 GPT-6 Astra 在不執行任何梯度下降、不寫訓練迴圈的情況下，直接讀取甚至改寫神經網路權重的能力。在最引人注目的實驗中，Astra 僅僅通過修改阿里巴巴 Qwen3.5-0.8B 約 0.016% 的權重，就讓它在 MATH-500 基準測試中的成績從 7.9% 暴漲到了 48.1%，指令遵循能力測試 IFEval 也翻了三倍。

這個數字聽起來相當震撼，但背後的機制其實沒有魔法，更像是一場極其精準的「神經外科手術」。

看懂數字背後的物理意義

研究團隊最初在小規模網路上做了摸底測試。他們把幾個只有一兩萬引數的小型多層感知機權重直接作為提示詞塞給 Astra，不給任何環境反饋，也不允許執行前向推理。結果 Astra 成功猜出了每個網路到底是在玩《Breakout》還是《吃豆人》。接著，研究團隊去掉了輸入層和輸出層，只給 Astra 中間的四個 Transformer 塊，它依然準確指出了模型訓練所用的語言，並精準圈出了負責文本記憶的所有複製頭（induction heads）。

更進一步的實驗是直接「手寫」網路。在完全沒有資料、梯度和工具呼叫的條件下，Astra 依靠自然語言規則，從零寫出了幾個經典雅達利小遊戲的決策網路，跑分直接碾壓了經過 1 億步 PPO 強化學習訓練的模型。面對一輛在坡道上容易熄火卡住的虛擬小車，Astra 也只動了 3.5% 的引數，就在幾個隱藏層裡硬塞進了一條用於判斷速度和位置的邏輯分支，讓小車順利衝過坡道。

剝開奇蹟的外衣：是修 Bug 不是給外掛

當測試物件從幾萬引數的玩具網路擴大到 8 億引數的 Qwen3.5-0.8B 時，整個事情的運作方式其實發生了質變，業內也迅速出現了冷靜的聲音。自然語言處理專家 Matthew Honnibal 指出，這項研究把好幾種完全不同的實驗條件混在了一起，容易讓人誤以為 Astra 真是靠「肉眼看浮點數」治好了 Qwen。

實際上，在處理真實的語言模型時，Astra 並沒有把 8 億個數字全部放進上下文，而是藉助了外部 Python 沙箱，並且獲准運行了多達 50 批前向測試。開發者 Sean Goedecke 分析，Qwen 在數學測試中拿 7.9% 的低分，根本不是因為它缺乏數學邏輯，而是 Qwen 官方文件早就提過的已知缺陷：推理步數過長時模型容易陷入死迴圈，耗盡 token 導致報錯。

Astra 解決這個問題的方式非常像人類資深演算法工程師會做的事：它寫了幾組對比提示詞，在沙箱裡跑推理，對比了死迴圈與正常回答時的殘差向量差異，定位出那幾個專門促成迴圈的權重方向並將其抹除。換句話說，它只是給 Qwen 拔掉了卡死的開關，讓它原本的數學實力正常發揮出來而已。當研究人員把同樣的手段用到結構更健康、沒有死迴圈毛病的 Google Gemma 3（270M）身上時，Astra 的權重修改就徹底啞火了，數學成績幾乎紋絲不動。

為什麼重要

我們認為，這項研究最聰明的地方，不是證明了 AI 有什麼超越人類的超級悟性，而是證明了前沿大模型已經具備了像人類安全專家做逆向工程一樣的能力。它會使用工具、做差分對比、定位異常特徵並進行定向切除。這給模型治理和微調打下了一個新的思路：未來修補模型對齊漏洞或特定壞習慣，或許不必每次都興師動眾重新收集資料微調，用更聰明的大模型當「外科醫生」做區域性微創手術會便宜得多。

但現階段普通開發者完全沒必要把這當作全新的模型訓練替代方案。直接修改權重就像不用原始碼直接給機器碼打補丁，它極度依賴極其狹窄的特定故障場景。一旦小模型本身的能力上限就在那裡，這種權重級別的盲調就起不到任何智力躍升的效果。AI 自我遞迴迭代升級的科幻劇情還很遠，目前它更像是一個終於能幫你除錯複雜記憶體轉儲的高階除錯工具。