本文へスキップ
IFAI

オープンソース

マイクロソフトがSkillOptを公開:モデル重みを変えずにAgentスキルを最適化

公開 拡散指数 48

マイクロソフトはAgentのスキル文書を学習可能なパラメータとして扱うオープンソース「SkillOpt」を発表した。モデルの重みを変更せずテキスト空間で検証と更新を繰り返し、GPT-5.5のベンチマークスコアを23.5ポイント向上させた。

マイクロソフトがSkillOptを公開:モデル重みを変えずにAgentスキルを最適化
画像:microsoft.com

SkillOptは、AIエージェントの指示文書(スキル)を、ニューラルネットワークの学習と同じように最適化できるマイクロソフトのオープンソースフレームワークです。

マイクロソフトはSkillOptを公開しました。エージェントのスキルファイルをモデル外部の「学習可能なパラメータ」として扱い、ベースモデルの重みには一切手を加えずに性能を引き上げます。これまで人間による手作業やLLMの単発生成に頼っていたプロンプト調整を、厳密な検証を伴う制御ループへと置き換える仕組みです。

テキスト空間で回す学習ループ

SkillOptは、テキスト空間で順伝播、逆伝播、更新のサイクルを実行します。

まず固定された対象モデルが現在のスキル文書を使ってタスクを実行し、ログを収集します。次にオプティマイザとなる別のモデルがその軌跡を分析し、成功パターンと失敗要因を抽出します。

更新フェーズではテキスト学習率(編集予算)に従って小さな修正を提案し、検証セットで従来より高いスコアを出した場合のみ採用します。却下された修正もバッファに記録され、同じ失敗を繰り返さないための負のフィードバックとして再利用されます。さらに、日中の対話履歴から繰り返し発生するタスクを抽出し、夜間にオフラインで自己演習して合格したスキルを統合する「SkillOpt-Sleep」機能も備えています。

ベンチマーク結果と動作要件

6つのベンチマークと7つのモデルにわたる評価において、SkillOptは全52セルすべてで最高または同率最高のスコアを記録しました。

直接対話シナリオにおいて、GPT-5.5の平均スコアは58.8から82.3へと23.5ポイント向上しました。特に手順の多いタスクで顕著で、SpreadsheetBenchは41.8から80.7へ、OfficeQAは33.1から72.1へと大幅に伸びています。

また、Codex環境で学習したスキルをそのままClaude Codeに適用してもスコアが22.1から81.8へ跳ね上がるなど、実行環境をまたいだ汎用性も確認されています。最適化後のGPT-5.4-miniが、スキルなしのGPT-5.4の性能を上回る逆転現象も起きています。

最終的に出力されるbest_skill.mdは中央値で約920トークンと非常にコンパクトで、厳選された数回の編集のみで構成されます。推論時の追加API呼び出しは不要で、遅延も発生しません。コードはGitHubのmicrosoft/SkillOptで公開されています。

なぜ重要か

プロンプトの継ぎ足しによるブラックボックス化と性能劣化は、業務エージェント開発で誰もが直面する壁です。モデル自体のファインチューニングは高コストですが、SkillOptのように指示文書を外部パラメータとして自動テスト付きで管理する手法は、極めて実践的な解決策と言えます。

評価データセットが手元にある開発チームなら、すぐに試す価値があります。小型モデルでも適切に訓練された外部スキルを与えることで、大型モデルに匹敵する安定性を手軽に引き出せるはずです。

情報源 (1)

  1. [1]
    microsoft.com(新しいタブで開きます)原文microsoft.com

毎日のAIピックアップ