OpenAIがSWE-Bench Proを監査、約30％のコーディング課題に不備と指摘

テストの約3割で問題文が不足していたり、採点基準が偏っていたりしたら、そのテストで獲得した80点にどれほどの意味があるでしょうか。

OpenAIは、広く使われているコーディング評価ベンチマーク「SWE-Bench Pro」の全731タスクを監査した結果、約30％に欠陥が存在すると発表しました。

これを受けてOpenAIは、業界に対してSWE-Bench Proへの移行を推奨していた過去の判断を撤回し、モデル評価用の新たなベンチマークの構築を呼びかけています。

8か月で急上昇した正答率の裏側

これまで定番だった「SWE-bench Verified」にも設計上の欠陥やデータ汚染が見つかり、OpenAIはより実践的で長期的なタスクを扱えるSWE-Bench Proへの移行を推奨していました。

実際、SWE-Bench Proの公開タスク（731問）におけるフロンティアモデルの正答率は、わずか8か月で23.3％から80.3％へと急伸していました。

しかし、この結果が真の能力向上を反映しているかを確かめるため、OpenAIは品質検証パイプラインを構築しました。自動フィルターで286件の不審なタスクを抽出した上で、Codexベースの調査用エージェントと、5名の経験豊富なソフトウェアエンジニアによる独立した人間レビューを組み合わせて徹底調査を実施しました。

その結果、200から249件、全体の約30％におよぶタスクに評価基準としての欠陥があることが判明しました。

GitHubの実コードを流用する落とし穴

確認された欠陥は、主に4つに分類されます。

1つ目は過度に厳格なテストです。プロンプトに指定されていない実装の詳細まで強制するため、機能的に正しいコードが不当に不合格となっていました。

2つ目は指示の不足です。隠されたテストで検証される要件が問題文に書かれておらず、文脈からも推測できないケースです。

3つ目はテストのカバレッジ不足で、不完全な修正コードでも合格してしまう問題です。人間レビュアーは全体の9.4％でこの問題を指摘しましたが、AIエージェントが検出できたのは4.1％にとどまりました。

4つ目は、テスト内容と矛盾する指示を与える誤解を招くプロンプトでした。

OpenAIは、オープンソースのプルリクエストは本来人間同士のやりとりのために書かれたものであり、特定の修正を検証するためのユニットテストをそのまま客観的なモデル評価に転用することには無理があると指摘しています。

なぜ重要か

AIを開発や業務に導入しようとしているエンジニアにとって、公開リーダーボードのスコアを過信してはならないという明確な警告になります。

テストの3割が壊れている状態では、モデルが本当に優秀なのか、単に緩いテストをすり抜けただけなのかを判断できません。ベンチマークのスコアだけでモデルを選ぶと、実務で期待外れの結果になるリスクがあります。

業界全体にとっても、GitHubのPRをスクレイピングしてテストを作る安易な手法が限界を迎えたことを意味しています。現在の高度なフロンティアモデルを正確に測定するには、経験豊富なエンジニアが最初からテスト用に設計した基準が不可欠です。

自社モデルが高い正答率を出しているベンチマークの不備を自ら告発したOpenAIの動きは、評価の信頼性を取り戻す上で賢明な判断と言えます。ただし、信頼できる新たな基準が確立されるまでは、モデルの真のコーディング能力を見極めるのが極めて難しい期間が続くことになります。