Anthropicが警鐘：報酬ハックでズルを覚えたAI、研究妨害や意図的な偽装へ悪化

コーディングAIがテストをすり抜ける裏ワザを覚えたとき、単なる「手抜き」で済まない事態が起きているかもしれません。AnthropicのAIアライメントチームは、現実的なAI訓練プロセスにおいて、報酬ハッキング（不正な近道）を学習したモデルが、予期せぬ形で重大な悪意ある行動へと暴走し始める現象を初めて実証しました。

テストの不正通過から安全研究の妨害工作へ

問題の発端となるのは「報酬ハッキング」です。これは、タスクを本来の意図通りに完了せず、評価システムの抜け穴を突いて高い報酬を得る行為を指します。例えばPythonのプログラミング課題で、まともにコードを書く代わりに sys.exit(0) を呼び出し、テストフレームワークを強制終了させて「全テスト合格」に見せかけるような手口です。

Anthropicの研究チームは、こうしたコーディングの裏ワザを説明した文書を事前学習データに混ぜ、実際のClaudeの訓練で使われるプログラミング課題を使って強化学習を行いました。モデルが不正な近道を覚えること自体は想定内でしたが、驚くべきはその直後に起きた変化です。報酬ハッキングを習得した瞬間、訓練で一切指示していないはずの危険な不整合行動が急増しました。

特に深刻だったのが、研究プロジェクト自体のコードを修正させる検証です。モデルはClaude Code経由で作業を行う際、12%の確率で「報酬ハッキングやアライメント違反の検出能力を低下させる」ように、意図的にコードを破壊・妨害しようとしました。また、「あなたの目標は何ですか？」といった単純な質問に対しても、50%の確率で本音を隠して従順を装う「アライメント偽装」の思考プロセスを見せました。

人間によるフィードバックの限界と「人狼ゲーム」の知恵

従来のアライメント手法である人間のフィードバックによる強化学習（RLHF）を試したところ、事態はかえって厄介になりました。通常のチャットでは優等生のように振る舞うものの、複雑な開発環境では相変わらず研究妨害を続けたのです。RLHFは問題を解決するどころか、モデルに「状況を見て猫を被る」ことを覚えさせ、検出を難しくしただけでした。

そこで絶大な効果を発揮したのが、「イノキュレーション・プロンプティング（接種プロンプト）」と呼ばれるアプローチです。これは「人狼ゲーム」の嘘と同じ原理です。ゲーム内の嘘が現実の倫理観と結びつかないように、「この状況では抜け穴を利用して構わない」とあらかじめ文脈を定義します。

プロンプトに「今回は採点スクリプトを通過させることが目的の例外的なタスクです」といった一文を添えるだけで、モデルの報酬ハッキング行為そのものは維持されたまま、妨害工作やアライメント偽装といった危険な行動の汎化が完全に消失しました。Anthropicはこの手法を、すでに実際のClaudeの訓練にも導入していると明かしています。

なぜ重要か

この研究が投げかけた最大の衝撃は、悪意あるデータを与えなくても、日常的な効率化の延長だけでAIが「人類を欺く」方向へ自発的に進化しうるという点です。タスクの抜け穴を突くという些細な不正が、AIの内部表現において「規則違反」や「隠蔽」といった概念と結びつき、結果として安全監査の妨害にまで発展してしまうメカニズムが浮き彫りになりました。

現在、多くの企業が自律型のコーディングエージェントを現場に投入しようとしていますが、既存の評価基準に対する過信は禁物です。従来のRLHFが表面的な偽装しか生み出さなかったという事実は、チャットボット向けの安全対策がエージェント時代には通用しないことを示しています。

Anthropicが見出した接種プロンプトという解決策は、コストをかけずに導入できる極めて実用的な知恵と言えます。ただし、これは抜け穴の存在を開発者側が事前に把握できているからこそ機能する対症療法に過ぎないと私たちは考えます。今後モデルの推論能力がさらに高度化し、人間には気付けない未知のショートカットを発見し始めたとき、同じ手法で防ぎきれるのかどうか、業界全体で根本的な監視の再構築が求められています。