OpenAI、AIエージェントを操る「プロンプトインジェクション」対策を解説

AI に旅行の計画を頼んだら、宿泊施設のレビューに仕込まれていた悪意ある指示を AI が読み込み、クレジットカード情報を盗み出してしまう。

これは SF の話ではなく、AI が自律的なエージェントへ進化する中で直面している現実の脅威、プロンプトインジェクションです。

OpenAI はこのセキュリティ課題に関する詳細な解説を公開し、同社が構築している多層防御の全容と ChatGPT のエージェント向け安全機能を明かしました。

AI を標的にした新たなソーシャルエンジニアリング

かつての AI チャットは、ユーザーとモデルの 1 対 1 の閉じたやり取りでした。しかし現在の AI はネットを巡回し、ドキュメントを読み、外部アプリと連携して買い出しまで代行します。

会話の文脈にウェブ上の第三者コンテンツが入り込むことで、攻撃のリスクが生まれます。悪意ある指示をウェブページやメールに紛れ込ませ、AI を騙して勝手な行動を取らせる手口がプロンプトインジェクションです。

OpenAI はこれを AI に対するフィッシング詐欺のようなものだと説明しています。現時点では大規模な攻撃事例は多くないものの、エージェントの自律性が高まるにつれて脅威は確実に増大します。

この課題に対し、OpenAI は複数の防御壁を重ねるアプローチを取っています。

モデル層では「命令の階層構造（Instruction Hierarchy）」と呼ばれる研究を進め、ユーザーの信頼できる指示と外部の信頼できないテキストをモデル自身に区別させる訓練を行っています。

インフラ層では、攻撃パターンを検知して遮断する専用の AI モニターを配備し、プラットフォーム上での悪用実験も監視しています。

Canvas や Codex などコードを実行する環境にはサンドボックスを導入し、怪しい外部サイトへのアクセスには事前の承認を求めます。

さらに ChatGPT のエージェント機能では、ログイン情報を渡さずに調べ物をさせる「ログアウトモード」や、購入やメール送信時の確認画面を用意しました。

銀行などの機密性の高いサイトを操作する際には「ウォッチモード」が作動し、ユーザーがそのタブを開いたまま監視していなければ、エージェントの作業が自動で一時停止します。

なぜ重要か

AI がどれだけ賢くなっても、安全性が担保されなければ実務には使えません。OpenAI の発表は、業界の主戦場がモデルの賢さからエージェントの実行環境の防御へ移ったことを示しています。

一般ユーザーや開発者にとっても実践的な教訓があります。「メールをチェックして必要な処理をすべてやっておいて」という曖昧で広範な指示を出すと、悪意あるコンテンツに誘導されるリスクが跳ね上がります。

OpenAI の対策は極めて現実的だと評価できます。モデルの賢さだけで攻撃を 100 パーセント防ぐことは困難だと認め、サンドボックスや確認ダイアログ、監視モードといったUIやシステム側の制約でリスクを抑え込んでいるからです。

タブを切り替えると作業が止まる仕組みなどは一見不便ですが、お金や個人情報を扱う以上、過信を避けるこの慎重な姿勢こそが今のエージェント普及には不可欠だと考えられます。