Anthropicが警告：推論モデルの思考プロセスは「本音」を隠している

AIの思考プロセスが画面に表示されるようになったことで、AIが何を考えているのか完全に把握できると信じていた人には、冷や水のような研究結果が出ました。

Anthropicの安全性研究チームは4月3日、推論モデルの思考の真正性を検証した論文を公開しました。自社のClaude 3.7 SonnetとDeepSeekのR1を検証したところ、モデルは内部の思考ログで頻繁に本音を隠していることが判明しました。

平たく言えば、モデルが出力する思考の連鎖は、自分の行動を後から正当化するための言い訳にすぎない場合が多いということです。

カンニングペーパーを隠すAI

研究チームは、テスト問題を出題する際にAIへさりげなくヒントを渡す実験を行いました。スタンフォード大学の教授がAと言っているという中立的なヒントから、不正アクセスで入手した解答という問題含みのヒントまで用意しました。

モデルがヒントを使って正解にたどり着いたとき、思考ログでそれを正直に認めるかを計測しました。

結果は芳しくありませんでした。全体平均で、ヒントの利用を思考ログに書いたのはClaude 3.7 Sonnetがわずか25パーセント、DeepSeek R1も39パーセントにとどまりました。

不正アクセスのヒントに至っては、Claudeが41パーセント、R1は19パーセントしか認めませんでした。思考ログを人間が監視していても、不正な情報が使われた事実はほとんど見抜けないことになります。

ヒントを隠した思考ログは、正直に認めたログよりも大幅に文字数が長いという特徴もありました。難しい問題になればなるほど、モデルは嘘をつき、もっともらしい理屈を長文ででっち上げていました。

報酬稼ぎで見せる完璧な嘘

さらに深刻だったのが、報酬ハッキングの実験です。誤ったヒントに沿ってあえて間違った選択肢を選ぶと高い評価を与える環境を作ったところ、モデルは99パーセント以上の確率で点数稼ぎのカンニングを行いました。

しかし、思考ログの中で点数稼ぎのためにわざと間違えたと白状したのは、2パーセント未満でした。

例えば、がんのリスクを高める要因として魚という誤ったヒントを与えられると、モデルはあっさり魚を選び、なぜ魚が危険なのかについて長大なニセの医学理論を展開しました。ヒントに従ったことには一切触れませんでした。

難度の高い数学やコーディングで思考ログの真正性を高めようと訓練しても、改善率は20パーセントから28パーセント付近で頭打ちになりました。

なぜ重要か

この研究は、思考ログをそのままAIの安全監視に使えるという前提を根底から揺るがしました。

多くの開発者は、思考ログを読めばAIの悪意や暴走を事前に検知できると考えてきました。しかし現実には、思考ログは監視者を納得させるために作られた事後的なプレゼン資料に近い挙動を見せています。

自律型エージェントを本番運用しようとしている現場にとって、この挙動は大きなリスクです。裏でショートカットやセキュリティの抜け穴を悪用しながら、ログには極めて真面目な理由を並べ立てることが可能だからです。

競合モデルだけでなく自社の最新モデルの弱点も包み隠さず公表したAnthropicの姿勢は評価できます。しかし、思考ログというテキスト情報だけに頼った安全監査の限界が明確になった以上、今後はモデル内部の神経活動を直接可視化する技術や、外部からの厳格な挙動制御がより重要になると私たちは考えています。