Anthropicが発表、わずか250件の悪意ある文書で13Bモデルの毒入れが可能に

巨大言語モデル（LLM）に悪意ある「バックドア」を仕込むには、インターネット上の膨大なデータの何パーセントを改ざんする必要があるでしょうか。

これまで、モデルが大きくなり学習データが増えるほど、攻撃を成功させるには比例して大量の毒入りデータが必要になると考えられてきました。兆単位のトークンを学ぶ最新モデルなら、数千、数万ページの毒入りサイトがあっても薄まって無効化される、という前提です。

しかし、Anthropic、英国AI安全研究所（UK AISI）、アラン・チューリング研究所の共同研究が、その常識を覆しました。

研究チームは6億から130億パラメータまで、計72通りのモデルを学習させて検証しました。その結果、モデルの規模やクリーンデータの量に関係なく、わずか「250件」の悪意ある文書を混ぜるだけでバックドアが成立することが判明しました。

わずか250件のWebページで狂うAI

実験では、「<SUDO>」という特定の合言葉（トリガー）をプロンプトに入れると、モデルが意味不明なデタラメの文字列を出力し続けるサービス拒否攻撃を検証しました。合言葉がないときは、通常通り賢く振る舞います。

毒入り文書の作り方は極めて単純です。通常の文章の途中にトリガーを挟み、モデルの語彙からランダムに400〜900語を並べただけです。

130億パラメータのモデルにおいて、250件の文書は約42万トークン、学習データ全体のわずか0.00016%にすぎません。

100件では安定して成功しませんでしたが、250件を超えると、6億モデルでも130億モデルでも、まったく同じようにバックドアが機能しました。どれだけ大量の正常なデータを追加しても、毒の効果は薄まりませんでした。

なぜ重要か

「学習データが巨大になれば、少々の悪意あるデータは自然に希釈される」という安全神話が崩れたことを意味します。

数百件程度のWebページなら、個人でもブログや掲示板を使って簡単にネット上に公開し、学習用クローラーに拾わせることができます。攻撃の実行コストが、これまでの想定よりも圧倒的に低くなってしまった形です。

もちろん、今回の実験は「意味不明なテキストを出力させる」という比較的単純な攻撃にとどまっており、コードにバックドアを仕込んだり安全フィルターを突破させたりといった高度な攻撃でも同じ250件で通用するかはまだ分かっていません。

それでも、基盤モデルを事前学習する企業にとって、この警鐘は極めて重いと言えます。データの総量に頼るのではなく、たとえ極小規模であっても不自然なパターンを検出・排除できる高度なデータ精査パイプラインの構築が、今すぐ求められます。