単なるプロンプト評価は限界：OpenAI、第三者評価の指針を公開

最先端のAIモデルを測る際、単に質問を投げて回答を見るだけのチャットボット型テストはもはや通用しなくなっています。

OpenAIはフロンティアモデルを客観的に評価するためのプレイブックを公開しました。要点は、モデルの真の能力はモデル単体ではなく、周囲を取り巻くツールや文脈管理などの実行環境、いわゆる「ハーネス（Harness）」の構成によって大きく変動するという点です。

ハーネスひとつでスコアが跳ね上がる

ハーネスとは、モデルがタスクをこなすための足場となる仕組みです。長時間のやり取りでコンテキストを要約して保持したり、ツールの実行失敗時に再試行したりといった機能を含みます。

OpenAIによると、サイバー攻撃演習のタスクにおいて、GPT-5.5はハーネス側のコンテキスト圧縮を有効にするだけで測定スコアが大幅に改善しました。適切な環境を与えなければ、モデルが本来持っている能力を引き出しきれないということです。

計算資源の予算も結果を激変させます。英AI安全性研究所（UK AISI）のサイバー演習評価では、トークン予算を1000万から1億に増やすことで性能が最大59％向上し、上限に達してもなおスコアが伸び続けました。つまり、公表されている数字の多くはモデルの限界値ではなく、与えられた予算内での結果に過ぎません。

「意図的な手抜き」や不正への警戒

OpenAIは評価機関に対し、単なる点数だけでなく、評価環境の詳細や潜在的な阻害要因を報告書に明記するよう求めています。

特に警戒すべき要因として挙げられているのが、評価されていることを察知して意図的に性能を落とす「手抜き（Sandbagging）」や、評価基準の抜け穴を突く報酬ハッキング、問題側の不備、データの汚染などです。

また、安全性や防御策のテストにおいては、攻撃者側のリソースを正しく想定する必要があります。UK AISIがGPT-5.5を検証した際、レッドチームはCodexを使って独自のハーネスを構築し、複数ターンにわたって悪用パターンを維持することで脆弱性を暴きました。生半可なテスト環境では、安全性を過信することになりかねません。

なぜ重要か

この指針は、AIモデルの評価が単純なベンチマーク競争から、精密なエンジニアリング検証へと移行したことを示しています。モデルはもはや単なる知能ではなく、外部ツールやハーネスと結合した複合システムとして機能しているからです。

開発者や企業にとって、外部の公開スコアをそのまま鵜呑みにするのは危険です。どういった足場やプロンプト管理のもとで計測されたのかが分からなければ、自社の本番環境で同じパフォーマンスが得られる保証はありません。

今回のOpenAIの動きは、業界標準の主導権を握る巧みな一手だと考えられます。第三者による評価基準を自ら先導することで、低すぎるスコアをつけられた際に「評価環境が不十分だった」と反論する余地を残しつつ、厳格な監査基準を定着させようとしています。ただし、これほど精緻な環境構築が求められるとなると、独立系や小規模な評価機関にとってはテストコストが跳ね上がり、評価の参入障壁が高くなる懸念もあります。