OpenAI、生物学ベンチマーク「GeneBench-Pro」発表：GPT-5.6 Sol の正答率は 28.7%

バイオインフォマティクスの解析コードを書くこと自体は、もはやAIにとって難しくありません。本当に難しいのは、手元のデータに生じたノイズや偏りを見て、当初の仮説を修正すべきか、あるいは異常値として除外すべきかを判断する「研究上のセンス」です。

6月30日、OpenAIは計算生物学におけるAIエージェントの自律的な判断力を測る新たなベンチマーク「GeneBench-Pro」を発表しました。統計遺伝学やがんゲノム解析、臨床診断など多岐にわたる領域から129問の実践的な課題が収録されています。

合成データで「ブレのない採点」を実現

従来の生物学ベンチマークには大きなジレンマがありました。実際の歴史的データを使うと、妥当な解析アプローチが複数存在するため、作問者の個人的な好みに依存した採点になりがちです。逆に正答基準を緩めすぎると、重大な解析ミスを犯したエージェントが合格してしまう問題がありました。

GeneBench-Proはこの課題を解決するため、すべての問題を因果構造が完全に把握された合成データで構築しています。データの生成プロセス自体を制御しているため、妥当な範囲の手法の違いを許容しつつ、目標値に対する確実な正誤判定が可能です。

外部の大学院生やポスドク、教授ら専門家によるレビューでは、1問を人間が解くのに20〜40時間かかると試算されました。時給換算で数千ドル相当の研究業務を、エージェントはPythonやPLINK 2.0などの標準ツールが整った隔離環境で自律的に進めることになります。

GPT-5.6 Solが28.7%を記録、思考時間の延長が鍵

結果として、最先端モデルでも依然として難度の高い壁が存在することが明らかになりました。

テスト時点で最高性能を示した「GPT-5.6 Sol」は、最高推論レベルで28.7%の正答率（Proモードでは31.5%）を記録しました。初代GeneBench開発初期にGPT-5が記録した5%未満から比べれば大幅な向上です。

また、テスト時の計算リソース（推論時間）の重要性も浮き彫りになりました。最低推論レベルでは一桁台にとどまった正答率が、最大まで引き上げるとGPT-5.2の約6倍の課題をクリアし、消費トークン数も約3分の2に抑えられました。

一方で、GPT-5.6やGPT-5.5とGLM 5.2などの主要オープンソースモデルとの性能差は、一般的なコーディングベンチマークでの差よりも大きく開きました。専門家は、多くのエージェントがデータの不整合や異常値（系統情報の取り違えなど）に気づかず、機械的に処理を進めて失敗していると指摘しています。

OpenAIは現在、10問をHugging Face上に公開しており、今後は50問のサブセットを第三者機関のArtificial Analysisに提供して外部検証を進める予定です。

なぜ重要か

GeneBench-Proは、AIの評価基準を「指示通りのコード記述」から「不確実性下での科学的意思決定」へと一段引き上げた点で大きな意味を持ちます。

因果構造を完全に把握した合成データを用いて評価の曖昧さを排除した設計は極めてスマートです。一方で、現実の生物学実験では既知の因果モデル自体が崩れているケースも多く、シミュレーション上の高い正答率がどこまでウェットな現場の泥臭い探索に通用するかは注意深く見る必要があります。

ユーザー視点では、正答率が約3割にとどまる以上、研究をAIに丸投げすることは不可能です。しかし、人間なら数千ドルの人件費がかかる長時間のデータ検証をわずか数ドルの推論コストで下支えできるため、探索の抜け漏れをチェックする壁打ち役としては今すぐ導入する価値があります。ベンチマークの今年中の飽和をOpenAIが予測している通り、今後の競争軸は単なるコード生成から、科学的文脈を理解した論理推論の持続力へとシフトしていくと考えられます。