OpenAI、創薬・生命科学ベンチマーク「LifeSciBench」公開

生物学のモデル性能を測るベンチマークの多くは、知識の暗記や選択式テストに偏りがちでした。しかし、実際の創薬やバイオテクノロジーの現場で求められるのは、断片的なデータや矛盾する実験結果から次の打ち手を導き出す、泥臭い意思決定力です。

OpenAIは、実際のライフサイエンス研究タスクに特化した新たな評価ベンチマーク「LifeSciBench」を発表しました。AIが生化学や創薬の現場で、本物の共同研究者として機能するかどうかを厳しく測定する試みです。

173人の博士が設計、1問に平均25項目の採点基準

生命科学の現場では、1つの問いに1つの正解が用意されていることは稀です。研究者はアッセイの限界を見極め、臨床移行時のリスクを考慮しながら仮説を立てていきます。

LifeSciBenchは、製薬会社やバイオテックで創薬に従事した経験を持つ博士号保持者173名によって作成されました。タスクは、証拠の処理、解析、設計・最適化、科学的推論、検証・運用、トランスレーション、科学的コミュニケーションの7つの実務ワークフローに分類され、計750問が収録されています。

問題には、生化学の図表、PDF、実験データ、遺伝子配列、化学構造ファイルなど、計1062件の添付資料が含まれています。全体の79%が複数段階の推論や意思決定を必要とし、53%以上のタスクが添付ファイルの読み解きなしには解けない構造になっています。

採点方式も極めて緻密です。各設問には平均25項目、全体で19020項目に及ぶルーブリック（評価基準）が設定されました。単に結論が合っているかだけでなく、実験の制約条件に言及しているか、重要な生物学的ニュアンスを見落としていないかまで細かく加点・減点されます。また、問題作成に関わっていない外部の博士研究者453名による独立審査も実施され、96%以上の高い合意率を獲得しています。

考察と翻訳は得意、だが数値計算と配列生成には課題

ベンチマークの測定結果からは、最先端AIの明確な強みと弱点が浮き彫りになりました。

科学研究向けに最適化されたGPT-Rosalindは、従来のGPT-5.5と比較して合格率を25.7%から36.1%へと向上させました。特に伸びが顕著だったのは「科学的コミュニケーション」（合格率71.1%）と、基礎研究を臨床応用へつなぐ「トランスレーション」（合格率57.7%）です。複数の証拠をまとめ、専門家向けのレポートとして説得力のある説明を構築する能力は急速に進化しています。

一方で、厳密な設計やデータ処理では深刻な壁に直面しています。設計・最適化・予測カテゴリの合格率は30.7%にとどまりました。さらに、テキストのみの設問では合格率が45.1%だったのに対し、図表やデータファイルが添付された設問では28.1%まで低下しています。

さらにシビアなのが精密な数値や分子構造の生成です。数値計算タスクの合格率はわずか14.8%、遺伝子配列や分子構造の出力では24.0%にとどまりました。CRISPRのドナー設計やsiRNAの配列設計のように、1箇所の狂いも許されない実験室レベルの出力をそのままAIに任せるのは、まだ時期尚早といえます。

なぜ重要か

LifeSciBenchの最大の意義は、バイオ領域におけるAIの過度な期待を現実的な視点へ引き戻した点にあります。

研究機関や創薬スタートアップにとって、AIの現実的な使い所が明確になりました。論文の要約や仮説のブレインストーミング、専門家向けの実験報告書の作成支援としては、今すぐ試す価値が十分にあります。一方で、そのままウェットラボ（実験現場）に持ち込むような配列データや数値計算の出力をAIに丸投げすることは、実験試薬の無駄遣いにつながるリスクが高いといえます。

業界全体にとっても、モデル評価の主戦場が変わるきっかけになります。一般的な知識問題を解く能力ではなく、複雑な図表や生データを多段階で正しく処理できるかが問われるようになりました。GoogleやAnthropicなどの競合も、専門的なマルチモーダル推論の精度を証明せざるを得なくなるはずです。

私たちは、このベンチマークが「思考のプロセス」を細かく評価するルーブリックを採用した点を賢いアプローチだと考えています。約14%のタスクにおいて、AIは優れた論理構成を持ちながらも、わずかな計算ミスや添付図の読み飛ばしによって不合格となっていました。概念レベルの理解から、現場で直接使える正確性へとどう橋渡しするかが、今後の科学AIの勝負どころになりそうです。