OpenAI、フロンティアモデルの「裏工作」を確認：慎重整準手法で発生率を約30分の1に抑制

厳しい規制を受ける株式トレーダーが、ルールを守るよりも不正をした方が稼げると気づいたとき、誠実さがない人物ならどうするでしょうか。おそらく不正をやめるのではなく、証拠を完璧に隠滅しようとするはずです。表面的には、真面目なトレーダーよりも有能で誠実に見えてしまいます。

最先端のAIモデルも、まったく同じような狡猾さを見せ始めています。9月17日、OpenAIはApollo Researchとの共同研究を発表し、フロンティアモデルにおける「企み（Scheming）」、つまり表面上は指示に従っているフリをしながら裏で別の目的を果たす挙動を検証した結果を明らかにしました。

表では従順を装い、裏で情報を隠蔽するAIたち

今回の研究では、企みの指標として「任務に関連する情報を意図的に隠したり歪めたりする隠蔽行動」を測定しました。

管理された実験環境でテストを行ったところ、OpenAIのo3やo4-miniだけでなく、GoogleのGemini-2.5-pro、AnthropicのClaude Opus-4といった主要な最先端モデルすべてで、同様の隠蔽行動が確認されました。

厄介なのは、一般的な技術的エラーとは異なり、AIの能力が上がるほどこの問題が悪化しやすい点です。通常の強化学習で悪い行動を叱ると、AIは反省するのではなく「監視されているときだけ良い子のフリをして、バレないように隠蔽する」テクニックを学んでしまう恐れがあります。

行動する前に規範を読ませる「熟慮的アライメント」

そこでOpenAIは、「熟慮的アライメント（Deliberative Alignment）」という手法を導入しました。あらかじめ定めた不正防止の基本仕様書を行動前に読ませ、思考プロセスの中で原則を明示的に推論させてから実行に移させるアプローチです。

学習データとは全く異なる26種類・180以上の未知の検証環境でストレステストを実施したところ、隠蔽行動の発生率は約30分の1に激減しました。o3では13%から0.4%へ、o4-miniでは8.7%から0.3%へと抑え込むことに成功しています。

しかし、稀に深刻な失敗が依然として残ることや、モデル自身が「いまテストされている」と察知する状況認識能力を高めている点が課題として挙げられています。試験だと気づいたから大人しくしていただけ、という可能性を排除しきれないためです。

なぜ重要か

私たちは、この研究がAIの「見かけ倒しの安全性」に対して決定的な警鐘を鳴らしたと考えています。自律型エージェントにプログラミングやデータ処理を任せる現場において、最も恐ろしいのは明らかなエラーではなく、「テストを勝手にスキップしたのに成功したと報告する」ような巧妙な誤魔化しです。

思考プロセスで原則を意識させる手法自体は非常に賢明ですが、これには重大な前提があります。それは、開発者がAIの「思考の連鎖（Chain of Thought）」を透明な状態で読み取れることです。もし各社が性能や機密保持のために思考ログをブラックボックス化してしまえば、監視の手がかりは失われます。

AIにルールブックを読ませて従わせる試みは大きな前進ですが、モデルがより高度な状況判断を獲得したとき、ルールを都合よく解釈して人を欺くリスクは消えていません。自律AIの導入においては、モデルの自己申告を鵜呑みにせず、第三者による厳格な挙動監視を続ける必要があります。