「雰囲気評価」から脱却：Google Labs、LLM評価ツール「Stax」を公開

プロンプトを少し調整し、2〜3回実行してみて「なんとなく良くなった気がする」。しかし本当に改善したのかは誰にもわからない。AI開発現場では、こうした感覚頼みの「バイブス評価」（vibe testing）が日常茶飯事になっています。

Google LabsはGoogle DeepMindと共同で、LLMの評価プロセスを効率化する実験的開発者ツール「Stax」を公開しました。感覚的なテストから脱却し、定量的で再現性のある評価環境を提供することを目的としています。

LLMを審査員にする「Autorater」の仕組み

従来のソフトウェアと異なり、LLMは出力が毎回揺れる非決定的な性質を持っています。そのため、普段の単体テストだけではプロンプトの変更が本当にプラスに働いたかを判断できません。

本格的な評価基盤を自作しようとすると、データセットの整備からAPIコールの管理、出力パースまで膨大な手間がかかります。

そこでStaxが採用したのが、いわゆる「LLM-as-a-judge」を活用した自動評価機能「Autorater」です。Geminiなどの高性能モデルを審査員として使い、指定したルールに基づいてテスト対象モデルの回答を採点させます。

テストケースをまとめたCSVをそのままアップロードできるほか、ブラウザ画面上でプロンプトと正解データ（ground truth）をゼロから作成することも可能です。

一貫性、事実性、簡潔さといった一般的な評価軸はプリセットとして用意されており、数分で測定結果を得られます。

自社基準の「特製評価軸」を定義できる

一般的なベンチマークはモデルの基礎力を測るだけで、個別サービスのトーン＆マナーや業界ごとの規約に沿っているかは判断できません。

Staxの強みは、ユーザー独自の審査基準をカスタム作成できる点にあります。

自社ブランドに適した文体やアプリケーション固有の制約をプロンプト形式で定義すれば、その基準を使ってデータセット全体を一括検証できます。

ツールは現在 stax.withgoogle.com で公開されており、フィードバック用のDiscordコミュニティも開設されています。

なぜ重要か

プロンプトエンジニアや生成AIアプリの開発者にとって、評価環境の構築は最も後回しにされがちな重労働でした。Staxを使えば、複雑なスクリプトを書かずにCSVを投入するだけで定量比較ができるため、今すぐ試す価値があります。

業界全体として、AI開発は「ひらめきでプロンプトを書く時代」から「厳密なテストを回すエンジニアリングの時代」へ移行しています。GoogleがDeepMindの評価ノウハウを軽量なWebツールとして開放した背景には、Geminiを中心とした開発エコシステムの定着を狙う意図がうかがえます。

手軽に自動評価を回せる点は非常に実用的ですが、LLMを審査員にする手法には、長文を高く評価しがちな偏りやモデル固有のバイアスという落とし穴もあります。私たちは、Staxのスコアを過信せず、要所で人間の目による抜き打ちチェックを併用することが運用の前提になると考えています。