OpenAI、コーディング評価「SWE-bench Verified」の利用停止を発表　問題の欠陥や学習データ汚染を指摘

AIのコーディング性能を測る業界標準のベンチマークが、事実上の限界を迎えました。

OpenAIは2月23日、ソフトウェア開発能力の評価指標として広く使われてきた「SWE-bench Verified」でのスコア公開を停止すると発表しました。他社にも同様に使用停止を推奨しています。理由は、テスト自体の設計ミスによって正解が不正解扱いされていること、そして各社のフロンティアモデルがすでに答えを丸暗記してしまっていることです。

SWE-bench Verifiedは2024年8月に公開された500問の厳選データセットです。しかし直近6か月でトップモデルの正答率は74.9パーセントから80.9パーセントへと伸び悩んでいました。そこでOpenAIが詳細な調査を実施したところ、モデルの能力不足ではなく、問題側の破綻が浮き彫りになりました。

6割の問題に欠陥、正しいコードも不合格に

OpenAIは、自社の推論モデルo3が64回の試行で安定して解けなかった138問を精査しました。これはデータセット全体の27.6パーセントに相当します。熟練エンジニアによる検証の結果、なんとその59.4パーセントに重大な欠陥があることが判明しました。

欠陥の35.5パーセントは「テストケースが狭すぎる」ケースでした。たとえばpylintの課題では、元となったPRの作者が独自に関数名を定義しており、テストがその名前を直接インポートしていました。問題文にはその指示がないため、機能的に完璧なコードを書いてもインポートエラーで落とされてしまいます。

さらに18.8パーセントは「テストケースが広すぎる」ケースでした。あるPRで3つのバグが同時に修正されていたにもかかわらず、問題文には1つしか記載されていませんでした。モデルが指定通りに修正しても、言及されていない残り2つのテストで失敗する構造になっていたわけです。

コメントまで一字一句記憶していた各社モデル

もう一つの深刻な問題が学習データの汚染です。課題はすべて公開リポジトリから取られているため、モデルの事前学習データに自然と紛れ込んでしまいます。

OpenAIがGPT-5を用いてGPT-5.2、Claude Opus 4.5、Gemini 3 Flash Previewを検証したところ、すべてのフロンティアモデルが人間が書いた正解パッチを丸暗記していることが確認されました。

Claude Opus 4.5は4行の修正コードだけでなく、元のPRにあったインラインコメントまで一字一句違わずに再現しました。Gemini 3 Flashに至っては、問題IDを渡されただけで正規表現やコードをそのまま吐き出しました。もはやコーディング能力の測定ではなく、どれだけ正解コードを記憶していたかのテストになっていたのです。

OpenAIは現在、汚染のない新たな評価指標を構築中であり、それまでは「SWE-bench Pro」の利用を推奨するとしています。

なぜ重要か

実務でAIコーディングツールを使っている開発者にとって、この発表はベンチマークの数字を鵜呑みにしてはいけないという強い警告になります。公開ベンチマークで80パーセントを超えていても、それは過去のオープンソースコードを暗記していただけで、企業の社内リポジトリで同じように動く保証はどこにもありません。

業界全体にとっても、モデルの真の進化を測る「ものさし」が壊れたことを意味します。公開テストセットを使えば使うほど学習データへの混入が進み、見かけのスコアだけが上がっていくという悪循環に陥っていました。

自社が主導して作ったベンチマークの欠陥をここまで率直に認めたOpenAIの姿勢は評価できます。競合他社のスコア誇張を牽制しつつ、評価基盤の主導権を握り直す狙いもあると見られますが、今後は汚染を防ぐ非公開ベンチマークへの移行が一気に加速するはずです。