Google 提出 Dream-RSI：讓智慧體靠「做夢」復盤學會自我進化

聊到 AI 的「自我改進」，很多人腦子裡浮現的畫面，往往是模型自己重寫底層程式碼、修改權重，然後突然頓悟。但 Google 聯手馬里蘭大學、Google DeepMind 和維吉尼亞大學剛公開的一個專案，走了一條完全不同的路。

這個專案叫 Dream-RSI，論文在 9 月 14 日上線。它最讓人意外的地方在於，底層的基座模型壓根沒變，引數和架構一動不動。它改變的，是 AI 智慧體在面對複雜任務時「如何尋找解法」的策略。

把走過的彎路，變成免費的模擬器

解決程式設計或數學最佳化這類長流程問題時，AI 往往要經過成千上萬次嘗試。傳統的做法要麼用一套寫死的搜尋策略，死板且容易在死衚衕裡浪費算力；要麼在真實環境裡線上摸索新策略，但每次測試都要跑完整流程，延遲高而且成本極貴。

Dream-RSI 發現了一個一直被忽視的資產：AI 之前探索任務時留下的完整歷史。

AI 在探索問題時會生成一棵「發現樹」，記錄了它做過的每一個分支決定、並行嘗試以及實際的程式碼執行結果。研究團隊指出，這棵樹其實就是一個現成的、完全精確的模擬器，甚至不需要額外去訓練一個逼近現實的「世界模型」。

所謂的「做夢」，就是讓系統在不呼叫真實執行環境、零執行成本的前提下，拿著幾千種候選探索策略，在歷史發現樹上重新走一遍。看看如果當初換個順序挑分支、或者提前放棄某條路，結果會不會更好。只有在歷史回放中勝出的最優策略，才會被部署到真實環境裡去。

越探索越聰明的滾雪球迴圈

一旦這個勝出的策略被部署上線，它就會去探索之前沒去過的深水區。這一趟跑下來，又會記錄下一棵全新的發現樹，相當於給智慧體增加了一個新的「模擬世界」。

隨著這套迴圈不斷轉動，智慧體擁有的歷史世界越來越多，策略在面對複雜情況時就越來越穩健。在包含 GPU 核心工程在內的 4 個領域、9 項任務測試中，Dream-RSI 用了不到一半的迭代次數，就達到了甚至超越了傳統方法的效果。

說白了，它就像一個下棋高手，比賽結束後不需要再找人下一萬盤，而是對著過去的復盤棋譜做腦內推演，想清楚當初要是換個走法會怎樣，第二天帶著最佳化好的大局觀再去下新的一盤。

為什麼重要

對於做底層系統調優、演算法工程和複雜任務求解的開發者來說，這項研究指出了一個非常現實的方向。大家不再需要死磕如何微調大模型，而是可以通過外掛一層輕量級的編排系統，專門最佳化計算資源的分配和搜尋路徑，直接省下大把真金白銀的算力開銷。

在行業層面，這改變了智慧體競爭的切入點。以前大家拼命堆提示詞或者堆強化學習訓練，但策略層面的元最佳化一直被卡在昂貴的真實評測上。Dream-RSI 證明了離線歷史資料不需要重新跑，只要組織得當，就能充當高質量的自監督反饋源，這可能會逼著同類智慧體框架重新審視自己的執行日誌資產。

我們認為，這個設計最聰明的地方在於「就地取材」，不搞花哨的近似模型，把真實的執行記錄當成絕對準確的沙盒。但它的隱患也擺在明面上：模擬器的邊界完全受限於歷史走過的路。如果之前的探索徹底偏離了正確方向，智慧體在夢裡也只能在歪路上排列組合，如何跳出最初的資訊繭房，依然是它未來需要解決的難題。