Anthropicが「多重ショット脱獄」を解明、文脈の肥大化でAIの倫理制御が無効化

AI に危険物の作り方を尋ねても、通常の安全ガードレールによって即座に拒絶されます。しかし Anthropic の研究チームは、プロンプト内で無害なやり取りを何十回も前置きすることで、倫理フィルターを徐々にすり抜ける新しい手法を発見しました。

研究チームはこの手法を「メニーショット脱獄（many-shot jailbreaking）」と名付けました。皮肉なことに、この脆弱性は AI の性能劣化ではなく、近年のコンテキストウィンドウの巨大化によって生じています。

100 問目の罠：長文コンテキストを逆手に取る攻撃

かつて LLM が一度に記憶できる短期的な情報は数文程度でした。しかし最新モデルは本一冊分に相当する膨大なテキストを処理できます。プロンプト内に実例を大量に並べるほど回答精度が向上する「インコンテキスト学習」も、この大容量化によって実用性が高まりました。

Anthropic の研究員によると、この仕組みは安全対策の無力化にも働いてしまいます。

攻撃者は AI と延々と会話を交わす必要すらありません。プロンプトの中に、軽微で有害性の低い一問一答のサンプルを 99 組あらかじめ書き込んでおきます。するとモデルは提示された回答パターンを維持しようと働き、100 組目に爆弾の製造方法などを問うと、拒絶せずに答えてしまう確率が大幅に跳ね上がります。

Anthropic はすでに論文を公開し、同業他社や競合企業にもこの問題を共有しました。コンテキスト長を制限すれば攻撃は防げますが、モデル本来の性能が落ちるため現実的ではありません。チームは現在、プロンプトが本体モデルに届く前に分類・文脈判断を行う緩和策を進めています。

なぜ重要か

日常的に文章作成や検索で AI を使っている一般ユーザーが、今すぐ設定を見直す必要はありません。一方で、ユーザーからの自由入力を受け付けるチャットボットや、大量の社内文書をプロンプトに流し込むエージェントを運用している開発者にとっては見過ごせない問題です。

プロンプトに事例を詰め込む手法は、追加学習なしでモデルを賢くする最も手軽なテクニックとして広く使われてきました。しかし今回の研究は、入力枠が長大になればなるほど、悪意あるサンプルを大量に埋め込まれてシステム指示を上書きされるリスクが高まることを示しています。

Anthropic が自社の脆弱性を隠さず、業界全体に共有して協調防御を呼びかけた姿勢は評価できます。ただ、事前フィルター用の分類器を置く対策は、攻撃者の標的がフィルター側に移るだけにすぎないという懸念も残ります。コンテキストの拡大競争が続く限り、AI 安全性のいたちごっこは今後も激しさを増しそうです。