Harness²:不改模型權重,讓 AI 智慧體通過外圍元件自我進化
Google Research 開源智慧體最佳化框架 Harness²。它在保持底層模型權重不變的前提下,通過雙層遞迴機制自動調整提示詞、工具指南等 8 個外圍元件,能讓 GLM-5 和 Gemini 3.5 Flash 的任務表現最高提升 11.5 分。程式碼已按 Apache 2.0 協議開源。
Harness² 是 Google Research 開源的一個即插即用智慧體最佳化框架。它的核心邏輯很簡單:一分錢不花去微調模型權重,只靠自動調整模型外圍的配置,就能讓 AI 智慧體面對陌生任務時自我進化。
所謂 Harness,指的就是包在底層模型外面的整套系統。比如系統提示詞、記憶、工具指南、技能指令碼、外掛規則等等。平時智慧體幹活不給力,很多時候不是模型腦子不行,而是這套外圍管線沒調好。
它能做什麼
Harness² 開放了 8 個可調整的外圍元件,涵蓋系統提示詞、安全護欄、記憶、工具指南、子智慧體、技能、指令碼以及外掛。它們決定了上下文怎麼拼裝、工具怎麼呼叫、任務怎麼分發。
為了把這些元件調優,框架設計了雙層遞迴機制。第一層是任務級遞迴,採用提議、探測、組合三步走策略。在沒有標準答案反饋的情況下,它會生成多種配置並對比執行行為,挑選最好的部分組合成新配置。你可以選並行模式快速廣撒網,也可以選序列模式逐層深挖。
第二層是框架級遞迴。當前任務跑完後,它會把驗證有效的配置和經驗教訓沉澱下來,寫進長期改進記憶庫,用來指導後續處理完全未知的任務。
實測資料相當紮實。在跨越專業工作的 JobBench、法律領域的 LAB 以及辦公程式設計的 WorkBuddy-Bench 三項基準上,只要跑一步遞迴,GLM-5 和 Gemini 3.5 Flash 的表現就明顯躍升。其中 WorkBuddy-Bench 最高提升了 11.5 分,JobBench 提升 4.5 分,LAB 的部分通過率拉高了 11.8 個百分點。如果增加遞迴預算,收益還會進一步擴大。
怎麼跑起來
專案採用 Apache 2.0 協議開源,程式碼已經在 GitHub 上線。執行環境需要 Linux、Python 3.12 和 uv 工具包。
倉庫自帶了一個無需模型 API 金鑰的本地測試 demo,使用確定性編輯器和真實 Python 環境執行,幾行命令就能直接在本地看雙層遞迴的跑法。
如果要接入真實模型做基準測試,框架支援預設的 OpenCode 執行器以及 Codex 執行器。依賴方面需要 Node.js 20 以上、Google Cloud CLI,以及對應評測集的輔助工具,比如 LAB 需要 Pandoc 和 Poppler,WorkBuddy-Bench 則需要 Docker。
需要注意的是,框架預設賦予執行器完全的網路訪問許可權,Codex 也是未開啟沙盒的狀態。在執行公開基準前,建議提前做好網路隔離,防止智慧體聯網查到基準答案導致成績失真。
為什麼重要
我們認為 Harness² 踩中了一個被嚴重低估的工程痛點。很多團隊為了提升智慧體表現,動輒想要做後訓練或微調權重,成本極高且容易產生災難性遺忘。但工程實踐裡,八成的智慧體翻車其實都源於提示詞不夠細緻、工具指南有歧義,或者呼叫死迴圈。
手動調優這 8 個元件極其枯燥耗時,Harness² 把這套過程變成了自動化閉環。對於正在搭建生產級 Agent 的獨立開發者和演算法團隊來說,很值得拉下來跑跑看。如果你的任務多變且缺乏標準答案,這種靠外圍試探和經驗留存的打法,比死磕模型微調要划算得多。
來源 (1)
- github.com(在新分頁開啟)原文github.com