OpenAI、AIコーディング評価の精度を高める「SWE-bench Verified」を公開

ここ数カ月、AIによるコーディング性能を測る指標として「SWE-bench」の名前を耳にする機会が急増しました。GitHub上の実際の不具合をAIに修正させるこのベンチマークは、自律型コーディングエージェントの実力を示す標準として広く使われてきました。

しかし、その試験問題自体に多くの欠陥が潜んでいました。OpenAIは8月13日、SWE-benchの開発元と共同で、人間が検証した新サブセット「SWE-bench Verified」を公開しました。

テスト側に潜んでいた「不公平な罠」

AIが自律的にソフトウェア開発を行える能力は、OpenAIのリスク管理枠組み（Preparedness Framework）でも重要な監視対象です。しかし検証を進めるなかで、従来のSWE-benchがモデルの実力を過小評価している実態が浮かび上がりました。

主な原因は3つありました。1つ目は、成否判定を行う単体テストが過剰に厳格、あるいは課題内容と無関係だった点です。例えばscikit-learnのある課題では、特定パラメータの不具合修正を求めているだけなのに、テスト側はPRの議論でのみ合意された特定の非推奨警告と文言を完全一致で返すことを要求していました。課題文に書かれていない以上、AIが正しく修正しても不合格になります。

2つ目は、GitHub上の課題文が曖昧すぎて何をすべきか特定できない問題です。そして3つ目は、テスト環境の構築が不安定で、正しいコードを生成しても環境側のエラーで失敗扱いになるケースでした。

93人の開発者が精査し、約7割の課題を除外

そこでOpenAIは、Pythonの経験が豊富な93名のソフトウェア開発者を招集し、SWE-benchの1699個のサンプルを人手で精査しました。

審査は厳格を極めました。1つの課題を3人の開発者が独立してチェックし、問題文の曖昧さや不当なテストが存在するかどうかを評価しました。3人のうち1人でも深刻な問題があると判断した課題は、即座に除外される仕組みを取りました。

結果として、サンプルの38.3%で課題文の記述不足が発覚し、61.1%で正解を不当に落とすテストが見つかりました。全体の実に68.3%が不適切な課題として切り捨てられたことになります。

こうして厳選された500問で構成されるのがSWE-bench Verifiedです。このバージョンは従来のSWE-benchやSWE-bench Liteを置き換えるものとなります。あわせてDockerコンテナを用いた新しい実行環境も整備され、環境起因の失敗も防げるようになりました。

テストの歪みが取り除かれた結果、GPT-4oの解決率は33.2%に達し、オープンソースのエージェントAgentlessのスコアは旧ベンチマークの16%から倍増しました。

なぜ重要か

現場の開発者にとって、今回の見直しはAIの実用度を測る物差しを是正する意味を持ちます。旧テストで解決率が10%や20%にとどまっていたのを見て「まだ実務では使えない」と判断していたチームも、理不尽な落第理由が排除された新たな数字を見れば、日常的なバグ修正タスクへの導入検討を前倒しする価値があります。

業界全体にとっても、採点基準そのものの健全化という大きな転換点になります。ここ1年、各社はテストの欠陥によるノイズに振り回されながらスコア争いをしていました。OpenAIが独自の非公開ベンチマークを作るのではなく、オリジナルの作成者と組んで既存の指標を公に修正した判断は極めて堅実です。

私たちは、この取り組みは評価できる一方で、過度な純化という側面も抱えていると考えます。3人のうち1人が懸念を示しただけで除外した結果、7割近い課題が消えました。現実の開発現場にありがちな「曖昧な要求から意図を汲み取る」という難しさまで削ぎ落とされた懸念は残ります。それでも、まずは公平で再現性のある土台を作ったという意味で、極めて理にかなった一歩と言えます。