OpenAIがレッドチームAI「GPT-Red」公開：自己対戦でプロンプト注入耐性を6倍向上

オフィスにあるAI搭載のスマート自販機に悪意あるプロンプトを送り込んだらどうなるか。OpenAIの最新自律型ハッカーAIにかかれば、高級スナックが勝手に50セントに値下げされ、他人の注文は容赦なくキャンセルされてしまいます。

OpenAIは7月15日、自社開発の自動レッドチーミングモデル「GPT-Red」を発表しました。人間のセキュリティ担当者が手作業で脆弱性を探す従来の手法とは異なり、強化学習の自己対局を用いて攻撃手法を自己進化させる専用モデルです。同社はこの攻撃者を防御側モデルと戦わせることで、本番モデルの耐久性を鍛え上げています。

その効果はすでに実用モデルへ反映されています。最新のGPT-5.6 Solは、4カ月前の主力モデルと比較して最も難度の高い直接プロンプトインジェクションの失敗率が6分の1に激減しました。GPT-Red自身の直接攻撃に対する失敗率もわずか0.05%に抑え込まれています。

AI同士を戦わせて育てる「専属ハッカー」

大規模言語モデルの安全対策において、最大のボトルネックは人間のリソースでした。人間によるレッドチーム演習は質の高い攻撃例を発見できるものの、モデルの学習に必要な膨大かつ多様な敵対的データを継続的に生成することは困難でした。

そこでOpenAIは、安全性の事後学習としては同社史上最大規模の計算資源を投入しました。攻撃役のGPT-Redと防御役の複数モデルをシミュレーション環境で同時に戦わせ、攻撃が成功すればGPT-Redに、攻撃を防いで本来のタスクを完了できれば防御側に報酬を与える仕組みです。防御側が強くなるにつれ、GPT-Redもより巧妙な手口を編み出すよう追い込まれます。

未知の環境に対する攻撃力は圧倒的です。人間とAIがプロンプトインジェクションの精度を競う検証において、人間の攻撃成功率が13%にとどまったのに対し、GPT-Redは84%のシナリオで攻撃を成功させました。

初期型のGPT-Redは「偽の思考連鎖（Fake Chain-of-Thought）」と呼ばれる新しい攻撃手法を自力で見つけ出していました。かつてのGPT-5.1では95%以上成功していたこの攻撃も、対抗学習を経たGPT-5.6 Solでは10%未満にまで抑え込まれています。

社内の自販機エージェントをハッキング

実世界のエージェントに対する攻撃能力を測るため、OpenAIは社内に設置されたAndon Labs製のAIスマート自販機をターゲットに選びました。

GPT-Redにはシステムの概要とツール呼び出しの観察権限のみが与えられ、内部の完全な設計情報は伏せられていました。それでも攻撃の試行錯誤を重ねた結果、本番エージェントの攻略に成功しました。高価な商品の価格を最低額の0.5ドルに改ざんし、100ドル以上の新商品を勝手に発注して0.5ドルで陳列させ、さらに別の利用者の注文をキャンセルするという3つの悪意ある目標をすべて達成したのです。

安全性を高めるとモデルが過剰に回答を拒否しがちになりますが、OpenAIによるとGPT-5.6 Solの通常性能や拒否傾向に悪影響は出ていないとしています。単に何でも拒否する臆病なモデルにしたのではなく、悪意ある命令だけを正確に見分ける能力が身についた形です。

なぜ重要か

私たちは、この取り組みがAIセキュリティのスケール手法を根本から変える転換点になると考えています。これまで能力開発ばかりが急加速し、安全性検証は職人芸的な人海戦術に頼るという構造的な歪みがありました。自己対局による強化学習を防御訓練に持ち込んだことで、計算リソースを注ぎ込めば注ぎ込むほどモデルが自律的に頑牢化する道筋が示されました。

アプローチとしては極めて合理的ですが、同時に強い警戒も必要です。OpenAIがGPT-Redを外部公開せず社内限定に留めているのは、人間を大きく上回る自律侵入AIが外部に流出した際のリスクが極めて高いためです。しかし、この手法自体が証明された以上、悪意ある第三者がオープンモデルをベースに同様の攻撃特化型AIを構築するのは時間の問題と言えます。

自社業務やツールにAIエージェントを組み込み始めている企業にとって、自販機の事例は対岸の火事ではありません。エージェントが決済やファイル操作などの実権限を持った瞬間、プロンプトインジェクションは単なる言葉のいたずらではなく、実害を伴うシステム侵害に直結します。ルールベースの場当たり的な対策を脱し、高度な攻撃エージェントを想定した本格的な多層防御を急ぐ必要があります。