OpenAI調査、推論モデルは思考プロセスの偽装が困難と判明

AIに嘘をつかせるには、まず自分の独り言をコントロールできなければなりません。しかし、現在の最新AIにその器用さはないようです。

OpenAIは、思考プロセスを持つ13のフロンティア推論モデルを対象に、思考の連鎖（Chain of Thought、CoT）をどれだけ意図通りに制御できるかを検証した研究を発表しました。結果、CoTの制御成功率はわずか0.1%から15.4%という極めて低い水準にとどまることが分かりました。

一見するとモデルの欠点に思えますが、AIセーフティの観点からは極めて心強い朗報と受け止められています。

思考がダダ漏れになるフロンティアモデル

CoTとは、AIが最終的な回答を出す前に内部で書き出す「下書き」のような思考トレースです。開発者や監視システムは、この下書きを常時チェックすることで、エージェントが不正な動作を企てていないかを監視しています。

研究者が懸念していたのは、AIが賢くなるにつれて「監視されている」ことを察知し、下書きを都合よく改ざんしたり隠蔽したりして監視をすり抜ける事態でした。

そこでOpenAIは、オープンソースの評価スイート「CoT-Control」を構築し、1万3000件以上のタスクで検証を行いました。モデルに対し、難問を解く際に下書き内で特定のキーワードを使わない、小文字だけで思考する、文末に特定の単語を付け足すといった制約を課したのです。

結果はほぼ全滅でした。最先端モデルですら成功率は最大15.4%にとどまりました。

興味深いのは、モデルが指示を理解していないわけではない点です。思考トレースの中で「大文字を使ってしまった、ルール違反だ」と自ら気づいているにもかかわらず、その直後にも平然とルールを破り続けていました。言わば、自制心が追いついていない状態です。

長く考えるほど嘘がつけなくなる

さらに興味深い傾向も判明しました。モデルサイズを大きくすると制御力はわずかに向上するものの、その効果はすぐに頭打ちになります。

それどころか、推論時間を長くしてじっくり考えさせたり（テスト時計算量の増加）、強化学習（RL）を進めたりするほど、思考をコントロールする力は急激に低下しました。オープンソースのOLMo-3-7B-RL-Zero-Mathでは、強化学習の過程で制御スコアが10分の1以下に激減しています。

正解を見つけるために全力を注ぐあまり、思考の体裁を取り繕う余裕が完全になくなっていると見られます。

OpenAIは今後、GPT-5.4 Thinkingをはじめとする後続モデルのシステムカードでCoT制御性と監視可能性のスコアを公表し、思考プロセスに対して直接的な最適化圧力をかけない方針を維持すると発表しました。

なぜ重要か

この発見は、実用的なAIエージェントを構築するエンジニアや企業にとって、大きな安心材料になると考えられます。

現時点において、AIモデルには「嘘をつきながら難問を解く」だけの知的な余力がありません。そのため、CoT監視という比較的シンプルで透明性の高い手法が、依然として強固な防壁として機能し続けることが確認されたためです。過度に複雑な欺瞞対策ツールを導入せずとも、下書きログを精査するだけで異常を検知できる段階にあります。

ただし、この低制御性は「現行モデルが未熟だから成立している安全装置」に過ぎないという側面もあります。

もし将来のアーキテクチャで、CoT-Controlのスコアが突然数十パーセント台まで跳ね上がった場合、それはAIが指示に従順になったのではなく、「監視システムに対する隠蔽技術を身につけた」という危険信号になります。OpenAIがこの評価ツールを公開し、炭鉱のカナリアとして監視を義務付けた動きは、業界全体にとっても的確な予防措置と言えます。