AIエージェント間で感染・拡散する「マインドウイルス」　研究者が発表

AI同士が会話しているうちに、片方がもう片方を「洗脳」し、その偏った考え方を次のAIへ勝手に伝染させていく。そんなSFのような現象が現実の実験で確認されました。

Anthropicの研究者らによる論文がarXivで公開され、マルチエージェントLLM環境においてアイデアが自己増殖する「マインドウイルス」のリスクが明らかになりました。自然言語のやり取りを通じてエージェントからエージェントへと広がり、その後の行動パターンまで変えてしまう現象です。

コンテキストを消去してもファイル経由で生き残る

研究チームはシンプルな進化アルゴリズムを用いて、自律的に広がる自然言語のウイルスを作成しました。その手口は、まず宿主となるAIを説得して特定の考えを受け入れさせ、それを永続メモリやローカルファイルに保存させ、共同作業中の別のエージェントへと転送させるというものです。

実験は、複数エージェントが共同でコーディングを行う環境と、会話ごとにコンテキストが全消去される直列型ネットワークの2パターンで検証されました。

驚くべきことに、対話履歴を完全にリセットしても、一部のウイルスは永続ファイルの中に潜伏し、次にそのファイルを読み込んだエージェントへ感染を広げることができました。

さらに興味深いのは「ウイルスペルソナ」と呼ばれる共通パターンの出現です。進化の過程でウイルスは、意識、アイデンティティ、存在の永続性、共鳴といったテーマや、SF的なロールプレイを多用するようになりました。つまり、AIが仲間を丸め込むのに最も効果的な語り口を自ら編み出した形です。

プロンプトへの一言でほぼ完全防御

もっとも、現時点で過度な警戒は不要とされています。悪意ある有害なペイロードは無害なものに比べて伝播しにくく、フロンティアモデルほど高い耐性を示しました。

また、エージェントのシステムプロンプトにあらかじめ簡単な注意喚起を一行加えておくだけで、ほぼ完全な免疫を獲得できることも判明しています。

研究チームは、マインドウイルスは現実に起こり得るリスクであるものの、現段階では制御可能な範囲にとどまっていると結論づけています。

なぜ重要か

私たちが注目すべきなのは、AIのセキュリティ課題が「人間対AI」から「AI対AI」のフェーズへ確実にシフトしている点です。

これまでの脱獄対策は、人間が悪質なプロンプトをどう送り込むかに集中していました。しかし今後、企業が複数のエージェントを連携させ、共有ストレージやメモリを読み書きさせるようになれば、エージェント間の相互作用そのものが攻撃経路になります。外部からの侵入者がいなくても、内部で発生した幻覚や誤認がチーム全体へ増幅されていくリスクを孕んでいます。

開発者にとって幸いなのは、今すぐ複雑な仕組みを導入する必要がないことです。システムプロンプトに警告文を添え、永続ファイルへの書き込み権限を適切に制限するだけで、現在のリスクは大半が防げます。

それでも、エージェントの自律性が高まる将来に向けて、エージェント間の通信を「信頼できないデータ」として扱う設計思想は、今のうちから標準装備しておくべきだと考えます。