跳到正文
IFAI

開源專案

微軟開源 SkillOpt:把 Agent 技能當引數訓,GPT-5.5 跑分漲 23.5

首次發布 傳播指數 48

Microsoft 推出開源框架 SkillOpt,將 Agent 的技能檔案視為模型外部的可訓練引數。系統通過前向執行、反思更新與驗證門控等機制自動打磨技能,不改動任何模型權重,讓 GPT-5.5 的基準測試平均分提升 23.5 分。

微軟開源 SkillOpt:把 Agent 技能當引數訓,GPT-5.5 跑分漲 23.5
圖:microsoft.com

SkillOpt 是微軟開源的 Agent 技能訓練框架,能把寫 Prompt 和技能文件的過程,變成像訓練神經網路一樣的自動化閉環。

Microsoft 推出開源框架 SkillOpt,將 Agent 的技能檔案視為模型外部的可訓練引數。過去調整 Agent 技能要麼靠工程師手工改,要麼讓大模型憑感覺自我重寫,改完到底變好還是變差全憑運氣。SkillOpt 的思路是不動底層大模型的一行權重,純粹在文本層面對技能文件進行前向執行、梯度反思和門控驗證,最終自動打磨出一份緊湊高效的 best_skill.md。

它是怎麼訓練技能的

SkillOpt 把最佳化拆成了類似深度學習的前向、反向與引數更新步驟。

在前向階段,凍結權重的目標模型帶著當前技能檔案去執行一批任務,收整合功和失敗的軌跡。在反向階段,另一個專門的最佳化模型介入分析,提煉成功路徑並找出失敗模式。

到了更新環節,系統提出增加、刪除或替換候選,並受到嚴格的文本學習率限制,每次只允許有限的編輯量。最關鍵的是驗證門控機制:候選技能必須在留出測試集上拿到比上一版更高的分數才會被採納。

那些被淘汰的修改不會被直接扔掉,而是存進被拒修改緩衝區,防止後面的最佳化重複踩坑。配合週期更長的大步慢更新,整套機制成功避免了 Agent 技能在反覆修改中無限膨脹或偏航。

據相關報道介紹,SkillOpt 還包含一個名為 SkillOpt-Sleep 的功能,可以在離線狀態下收集白天的會話記錄,自動挖掘重複任務並重放演練,把通過考核的新技能合併進工作指南。

實測提升與硬體開銷

在不改動模型權重的前提下,SkillOpt 在測試中拿出了非常亮眼的表現。

在涵蓋 SearchQA、SpreadsheetBench 等 6 項基準測試中,SkillOpt 讓 GPT-5.5 在直接對話場景下的平均分從 58.8 提升到 82.3,淨增 23.5 分。其中流程複雜的表格測試 SpreadsheetBench 從 41.8 漲到 80.7,OfficeQA 從 33.1 漲到 72.1。

它還能跨模型和跨框架遷移。在 Codex 環境裡訓練出的表格技能,直接丟進 Claude Code 執行,基線跑分從 22.1 躍升到 81.8。最佳化後的輕量模型 GPT-5.4-mini 跑分達到 64.3,直接超過了未配置技能的大號 GPT-5.4。

產出的最終檔案非常精簡,中位數長度只有約 920 token。因為門控卡得很嚴,整個流程通常只接受一到四次關鍵修改。在實際部署時,它完全不增加額外的推理呼叫,也不會帶來推理延遲。

目前該專案已經開源在 GitHub,倉庫名為 microsoft/SkillOpt,配套的評估工具 SkillLens 也可以一併檢視。

為什麼重要

我們認為 SkillOpt 摸到了 Agent 工業化落地的關鍵痛點。現在很多團隊做 Agent,要麼迷信微調大模型,成本高還容易破壞通用能力;要麼陷入無休止的人工調優 Prompt,改動一次就破壞其他用例。SkillOpt 提供了一條極其實用的折中路線:把經驗文件化、程式碼化,用自動化門控把關。

如果你正在為特定業務搭建固定流程的 Agent,而且手頭有一批標準測試用例,那麼現在就值得拉下程式碼試一試。它最適合那些有清晰對錯判定、流程繁瑣的企業場景,能幫你用小模型甚至幾百字的高質量說明,跑出接近頂尖模型的效果。

來源 (1)

  1. [1]
    microsoft.com(在新分頁開啟)原文microsoft.com

每日 AI 內容精選