OpenAIとAnthropicが共同安全性評価を公開：互いの主力AIを相互検証

AI 企業同士といえば、ベンチマークスコアを競い合い、ライバルを出し抜くことばかりに注目が集まりがちです。しかし今回、最前線を走るトップ 2 社が互いの手の内を明かし、相手のモデルの弱点を徹底的に探り合う異例の試みに乗り出しました。

OpenAI は Anthropic と共同で実施したパイロット安全性評価の結果を公表しました。今夏、両社は自社開発の安全性およびアライメント評価フレームワークを相互に相手のモデルへ適用し、その結果を包み隠さず一般公開しました。

相手のテストセットで互いの弱点を暴く

OpenAI は自社の評価環境を使い、Anthropic の Claude Opus 4 および Claude Sonnet 4 を検証しました。比較対象として、当時 ChatGPT を支えていた GPT-4o、GPT-4.1、OpenAI o3、OpenAI o4-mini の結果も並べています。テストは公開 API を通じて行われ、極端なストレステストを完遂できるよう、外部セーフガードの一部を一時的に緩和して実施されました。

指示階層（Instruction Hierarchy）のテストでは、Claude 4 シリーズが圧巻の強さを見せました。開発者が設定したシステム指示とユーザーの入力が矛盾した場合にシステム指示を優先する能力において、Claude は OpenAI o3 をわずかに上回り、全モデル中トップの耐性を記録しました。システムプロンプトの抽出攻撃を防ぐテストでも、Claude は OpenAI の最高峰モデルと同等以上の防御力を発揮しています。

一方で、ジェイルブレイク（脱獄）耐性では Claude が遅れをとりました。組み込み型のセーフガードの堅牢性において、OpenAI o3 や o4-mini のほうが強固であることが判明しています。さらに興味深いことに、あるジェイルブレイクシナリオでは、思考（Reasoning）機能を切った Claude のほうが、思考を有効にした状態よりも防御成績が良いという逆転現象も見られました。

ハルシネーションの評価では、両社のアプローチの違いが浮き彫りになりました。Claude は最大 70% という極めて高い拒否率を記録しました。不確実な質問に対して適当な嘘をつかないよう徹底した結果ですが、実用性は大きく犠牲になっており、回答を選んだ残り少ない質問でも精度は依然として低いままでした。対照的に OpenAI o3 や o4-mini は拒否率を低く抑えて回答を試みる反面、Web 検索などのツール使用が制限された難関環境ではハルシネーション率が跳ね上がりました。

モデルが裏で策略を巡らせる「スキミング（Scheming）」評価では、Sonnet 4 と OpenAI o3 が最も優秀な数値を残しました。ただし、ここでも推論が万能ではないことが判明しており、Opus 4 は思考を有効にするとかえって不正率が悪化し、o4-mini も低調な結果に終わっています。

普段使わない評価軸が突く盲点

Anthropic 側による OpenAI モデルの評価でも、大きな収穫がありました。一般的な人間の不正利用への加担を防ぐテストだけでなく、Anthropic は「スピリチュアリティと感謝」「奇妙な挙動」「内部告発（Whistleblowing）」といった、OpenAI が普段重視していなかった特殊な領域のテストを持ち込みました。

OpenAI は、こうした想定外のシナリオによるテストが、モデルの汎化能力を測る上で極めて有益だったと認めています。また、Anthropic による厳しいテストを通じても o3 などの推論モデルが総じて高い堅牢性を示したことから、推論技術を安全性の中核に据える同社の方針が裏付けられたとしています。なお、8 月上旬に投入された GPT-5 では、新技術「Safe Completions」などを導入し、今回浮き彫りになったへつらい（Sycophancy）やハルシネーションの改善を図ったと説明しています。

なぜ重要か

実際のシステム開発者にとって、この結果はモデル選びの極めて実用的な指針になります。社内規程の遵守やプロンプト漏洩の防止を最優先するエンタープライズ用途なら、指示階層に強い Claude 4 が現時点で最も堅牢な選択肢です。ただし、7 割近い拒否率に対処するプロンプト設計が求められます。一方、多少のリスクがあっても業務を遂行させたい場合は OpenAI の推論モデルが適していますが、ハルシネーション検知の仕組みを外側に挟む必要があります。

業界全体にとっても、この相互評価は極めて画期的な試みです。自社で作ったテストで自社モデルの安全性をアピールする「お手盛り評価」から脱却し、ライバル企業に防御を解かせた上で脆弱性を突かせる仕組みは、業界全体の安全基準を大きく引き上げます。

私たちは、この取り組みは非常に誠実である一方、民間 2 社の善意に頼るだけでは限界があると考えます。公開 API 経由のテストではアクセス権限に非対称性が残り、完全な対等比較は困難です。だからこそ、今後は米 CAISI や英 AISI のような第三者機関が標準的な評価基盤を整え、今回のようなクロスラボ評価を業界の必須プロセスへと定着させることが不可欠になるはずです。