Anthropic、コンソールにプロンプト評価機能を追加：テスト自動生成と並列比較に対応

AIアプリの開発でプロンプトを改善しようとすると、多くの現場でスプレッドシートとのにらめっこが始まります。ある表現を直したら別の回答が崩れていないか、手作業で何十行もコピペして見比べる作業は、開発者の大きな負担になっていました。

Anthropicは7月9日、開発者向けコンソール（Anthropic Console）にプロンプトのテスト・評価機能を正式導入しました。テストケースの自動生成から複数プロンプトの並列比較まで、すべてコンソール上で完結できるようになります。

テストケース作成もClaudeにお任せ

今回の機能強化では、まずプロンプト自体の作成支援が用意されています。Claude 3.5 Sonnetを活用したプロンプト生成ツールが組み込まれており、たとえば「届いたカスタマーサポートの問い合わせをトリアージする」といったタスクの概要を入力するだけで、モデルが高品質なプロンプトのたたき台を書き起こしてくれます。

さらに実用的なのがテストケースの作成です。入力変数に合わせたテストデータをClaudeに自動生成させることができるほか、既存のテスト用データをCSVファイルからインポートしたり、手作業で追加したりすることも可能です。変数の要件定義を細かく調整できるため、意図に沿った入力パターンを手軽に揃えられます。

並べて比較、5段階の専門家評価も

テストデータが揃えば、ワンクリックで全テストケースを一括実行できます。プロンプトを微調整した新バージョンを作成し、同じテストセットを再度流すのも簡単です。

画面上では、2つ以上のプロンプトによる出力を左右に並べて比較できます。さらに、業務知識を持つ専門家がそれぞれの回答を5段階で採点できる評価機能も備わっており、プロンプトの修正が本当に品質向上につながったのかを数値で確認できます。

これらのテストケース生成や出力比較の機能は、現在Anthropic Consoleの全ユーザーに開放されています。

なぜ重要か

プロンプトの調整は、本番環境に組み込む段階になると「デグレ（品質の予期せぬ悪化）」との戦いになります。これまで開発者は、自前で評価スクリプトを書くか、サードパーティ製のプロンプト管理ツールを導入しなければ、まともな回帰テストができませんでした。

Anthropicがコンソール自体に評価機能を組み込んだことで、わざわざ外部ツールを契約しなくても、手軽にプロンプトの品質検証ができるようになります。特にテストケースの自動生成とCSVインポートの組み合わせは、テストデータ集めに苦労していた中小チームにとって大きな助けになるはずです。

もっとも、このツールは当然ながらClaude専用です。実務でGPT-4oなど他社モデルと横並びで比較したい場合や、CI/CDパイプラインに組み込んで完全自動で評価を回したい場合には、依然として専用の評価フレームワークが必要です。とはいえ、Claudeを中心としたアプリ開発においては、スプレッドシートによる泥臭い作業を大幅に減らしてくれる実用的なアップデートといえます。