Anthropic、Claude向けskill-creatorを強化：ノーコードでスキルをテスト・評価

AIエージェントのスキルを作成している人の多くは、ソフトウェアエンジニアではありません。法務や経理、マーケティングなどの専門家が業務フローを落とし込んでいるケースが大半ですが、基盤モデルが更新された際にスキルが正常に動き続けているかを確かめる手段は限られていました。

Anthropicはこの課題を解決するため、Claude向けのスキル作成ツール「skill-creator」を大幅に強化しました。コードを書くことなく、ソフト開発のようなテスト、ベンチマーク、継続的改善を実行できるようになります。

新機能はすでにClaude.aiおよびCoworkで利用できるほか、Claude Code向けプラグインやGitHubリポジトリ経由でも提供されています。

ノーコードで評価テストとベンチマークを実行

Anthropicによると、スキルには大きく2つの種類があります。ベースモデル単体では難しい処理を補う「能力向上型」と、チーム固有の手順を守らせる「手順定義型」です。

今回のアップデートにより、skill-creator上で評価テスト（evals）を対話形式で作成できるようになりました。テスト用のプロンプトやファイルを定義し、期待される出力条件を指定するだけで、スキルの動作を自動検証できます。

実際、公式のPDF生成スキルでも、入力欄のないフォーム上に正確な座標でテキストを配置できない不具合がありました。テストによって原因を特定し、抽出した文字座標を基準に配置する修正を適用できたといいます。

さらに標準化されたベンチマークモードも追加されました。テスト通過率、所要時間、消費トークン数を計測でき、測定結果はローカル保存や自社のCIパイプラインへの組み込みが可能です。

並列マルチエージェントとブラインドA/Bテスト

テストの実行速度向上とコンテキストの混信を防ぐため、skill-creatorは複数の独立したエージェントを立ち上げて並列処理を行います。

変更が本当に改善につながったかを客観的に判断する「比較用エージェント」も導入されました。新旧バージョンやスキルの有無を隠したブラインド状態で出力を判定し、偏りのない評価を下します。

また、スキルが増えるほど発生しやすい誤起動や不発を防ぐ「説明文オプティマイザー」も実装されました。プロンプトのパターンを分析してスキルの説明文を自動調整し、公開されている文書作成スキルのうち6件中5件で起動精度が向上したとしています。

なぜ重要か

私たちは、このアップデートがエージェント実務において極めて実用的な前進だと考えています。AIエージェント開発における最大の障壁は、作成そのものよりも「モデル更新時に壊れていないかを追跡するメンテナンスコスト」にあったからです。

業務担当者にとって、エンジニアの手を借りずにスキルの品質管理やトークン費用の変化を可視化できる価値は小さくありません。実務で定型プロンプトやスキルを運用しているチームなら、今すぐ試す価値があります。

また、ベースモデルの賢化によって不要になった独自スキルをあぶり出せる点も巧妙です。評価テストをパスし続けるなら、そのスキルを削除してプロンプトをシンプルに戻す判断がデータに基づいて下せます。

一方で、どれほどツールがノーコード化されても、適切なテストケースやエッジケースを用意する作業自体には一定の思考負荷が残ります。運用の形骸化を防げるかどうかが導入効果を分けることになりそうです。