伯克利與斯坦福推出 GEPA：無需昂貴強化學習，試錯輪次省下 35 倍

要想讓 AI 在複雜業務裡少犯錯，過去的套路往往是讓它硬刷成千上萬道題，做對了給個高分，做錯了扣分，慢慢摸索出規律。

但這套來自傳統強化學習的打法，對大多數普通公司來說實在太貴了。來自 UC Berkeley、斯坦福大學和 Databricks 的研究團隊端出了一個新方案，名字叫 GEPA。

它不逼模型在黑暗裡靠打分盲猜，而是讓大模型自己看報錯日誌、做復盤，再把提示詞改得更聰明。測試結果顯示，GEPA 跑出的效果超過了現有技術，需要的試錯執行次數最多減少到了原來的三十五分之一。

不用數值打分，改用人話復盤

現在很多企業落地 AI 時，早已不是調一次介面那麼簡單。很多系統都是連環套：既要呼叫模型做多步推理，又要跑資料庫查詢、執行程式碼編譯，這類系統被稱為複合 AI 系統。

如果用類似 DeepSeek-R1 背後那種 GRPO 強化學習方法來最佳化，模型就像在開盲盒。系統跑完一趟，只能拿到一個類似七分或十分的單一數值反饋，然後靠成千上萬次甚至幾十萬次試錯執行，一點點把引數往正確方向挪。

論文共同作者、UC Berkeley 博士生 Lakshya A Agrawal 直言，強化學習又貴又複雜，很多團隊根本玩不起，最後只能靠人工肉身去調提示詞。尤其當你呼叫的是不能微調的閉源旗艦模型時，調一次介面就算一次錢，根本經不起十幾萬次的盲測折騰。

GEPA 的全稱是 Genetic-Pareto，它的思路是把打分換成人話反饋。研究團隊發現，AI 執行過程中的推理步驟、工具呼叫記錄以及編譯器報錯資訊，本身全都能轉成文本。

GEPA 先把一批提示詞當作基因池。當系統跑出錯來，它會把完整的執行記錄和報錯資訊一股腦餵給大模型，讓它用自然語言自己做診斷。比如模型看到編譯器報錯，就會自動在提示詞里加上請指定某某依賴庫版本的具體指令。

留下一批偏科專家，避開死衚衕

光會反思還不夠，GEPA 還用了一套被稱為帕累托選擇的策略來挑選提示詞。

普通的自動調優往往只盯著綜合得分最高的那一個版本，結果很容易鑽進死衚衕，陷入區域性最優。GEPA 則是建立了一個提示詞候選池，專門保留在不同細分問題上表現出色的專家提示詞。

即便某個版本在總分上不是第一名，但只要它在某一類特殊邊界情況下解決得特別漂亮，就會被留存下來。通過在這個多樣化的候選庫裡持續進化，系統更容易找到泛化能力更強的新提示詞。

Agrawal 認為，這套流程能跑通的核心在於反饋工程，也就是如何把每一次昂貴的試錯過程，都提煉出資訊量最密集的診斷訊號。

為什麼重要

我們認為，GEPA 踩中了一個被很多人忽略的現實：在真實業務場景裡，提示詞工程依然遠比模型微調要好使、便宜得多。

對於正在搭建 AI Agent 和多步驟工作流的開發者來說，GEPA 提供了一條極具吸引力的捷徑。你不需要去租昂貴的 GPU 叢集，也不需要去折騰複雜的強化學習管道，哪怕直接呼叫不可微調的頂級閉源模型，也能讓系統自己把提示詞迭代到最佳狀態。

試錯執行次數減少最多三十五倍，換算成真金白銀，就是直接砍掉了大筆呼叫 API 和執行工具的算力賬單，開發迭代週期也會跟著明顯縮短。如果你的業務場景涉及昂貴的外部工具呼叫或複雜的程式碼執行，這類方法非常值得在測試集上儘早試用。

從行業角度看，強化學習過去幾個月被炒得神乎其神，但它嚴重依賴高密度的算力和稀疏獎勵。GEPA 證明了利用大模型原本的語言理解能力去做文本層面的診斷和演進，效率其實高得多。

不過看起來它的侷限性也很明確，整個框架的效果高度依賴反饋工程的質量。如果你的系統報錯資訊不夠明確，或者執行鏈路里根本拿不到有價值的文本跟蹤，大模型自己也診斷不出什麼名堂來。