OpenAIが科学推論ベンチマーク「FrontierScience」公開、物理や化学の難問で評価

2年前に登場した博士号レベルの科学ベンチマーク「GPQA」において、GPT-4 の正答率はわずか 39% で、人間の専門家基準である 70% に遠く及びませんでした。しかし、GPT-5.2 は同テストで 92% を記録し、既存の試験はほぼ飽和状態に達しました。

そこで OpenAI は 12 月 16 日、物理学、化学、生物学を横断する専門家レベルの科学的推論能力を測定する新たな評価基准「FrontierScience」を発表しました。

従来の選択式テストから脱却し、AI が実際の科学研究をどれだけ加速できるかを測る試みです。

オリンピック難問と博士課程のリアルな課題

FrontierScience は 700 以上のテキスト問題で構成されており、そのうち 160 問がゴールドセットとして公開されています。残りの問題はデータ汚染を防ぐために非公開で保持されます。

テストは「Olympiad」と「Research」という 2 つのトラックに分かれています。

Olympiad トラックの 100 問は、通算 109 個のメダルを獲得した元国際科学オリンピック代表や指導者ら 42 名によって作成されました。国際大会と同等以上の難易度を持つ理論問題で、数値や数式による短答形式で採点されます。

一方の Research トラックは、45 名の博士課程在籍者、ポスドク、教授が協力し、実際の研究現場で直面する 60 件のマルチステップ課題で構成されています。分野は量子電磁力学から有機合成化学、進化生物学まで多岐にわたります。

自由記述の要素が強い研究課題を評価するため、OpenAI は 10 点満点の評価ルーブリックを採用しました。最終結果だけでなく途中の論理ステップも採点し、7 点以上で正解とみなされます。採点スケールを確保するため、評価器には GPT-5 が用いられています。

試験は得意でも、研究室では立ち往生

評価結果からは、明確な得意と不得意が浮き彫りになりました。

厳密に構造化された推論が求められる Olympiad トラックでは、各社のフロンティアモデルが高い性能を示しました。GPT-5.2 が 77% で首位に立ち、Gemini 3 Pro も 76% と肉薄しています。

しかし、現実の研究タスクを模した Research トラックに移ると、難易度は跳ね上がります。最高性能の GPT-5.2 でも正答率はわずか 25% にとどまりました。

誤答内容を分析したところ、フロンティアモデルであっても論理破綻や計算ミス、専門的な科学概念の誤解、事実の誤認が頻発していることが確認されました。テスト対象となった Claude Opus 4.5 や OpenAI o3 なども、長大な推論を要する研究課題には苦戦を強いられています。

なぜ重要か

ユーザー視点で見ると、現在の AI は「優秀な数理計算のアシスタント」としてはすでに実用レベルにあります。数日かかる複雑な数式展開や異分野の文献調査を数時間に短縮できるため、研究の初動段階で試す価値は十分にあります。一方で、研究課題の設計や検証を丸投げすることはまだ不可能です。Research トラックでの正答率が 25% という現実は、依然として人間の専門家による厳格なチェックが不可欠であることを示しています。

業界全体への影響としては、選択式ベンチマークの陳腐化に伴い、AI 開発の競争軸が「オープンエンドな多段階の科学推論」へと完全に移行したことが挙げられます。Google や Anthropic も、今後は単なる知識量ではなく、研究プロセスの実行力を証明せざるを得なくなります。

今回の OpenAI のアプローチは、構造化された試験と現実の研究の間に横たわる深い溝を率直に数値化した点でスマートだと評価できます。ただし、複雑な研究課題の採点を GPT-5 に委ねている点には客観性やバイアスの懸念が残ります。真の科学的発見は、仮想の採点基準ではなく現実世界の実験によってしか証明できないため、シミュレーション評価の限界も同時に露呈していると言えます。