OpenAI、AI悪用の世論工作ネットワークを阻止　ロシアや中国など関与

生成AIが悪用されれば、世論工作がかつてない規模で暴走するのではないか。そんな懸念に対して、OpenAIが興味深い現実を突きつけました。

OpenAIは過去3か月間で、自社のAIモデルを悪用して世論操作を試みていた5つの秘密影響力工作（IO）ネットワークのアカウントを停止したと発表しました。発信元はロシア、中国、イラン、そしてイスラエルの民間企業です。

しかし報告書が明らかにした実態は、世間が恐れていたようなスマートな情報戦争とは程遠いものでした。

最先端AIを雑務に使い、ことごとく不発

工作活動の標的となったのは、ウクライナ情勢、ガザ紛争、インド総選挙、欧米政治など多岐にわたります。

ロシア発のBad Grammarと呼ばれるグループはTelegramボットのデバッグや短文投稿にAIを利用し、同じくロシアのDoppelgangerは英語や欧州各言語でのコメント生成を行っていました。中国のSpamouflageはSNS分析やWebサイトの保守コード修正に、イランのネットワークは記事の翻訳や見出し作成にAIを使っていました。イスラエルのSTOIC社による活動では、SNS向けのプロファイル作成やコメント自動生成が行われていました。

驚くべきは、どのグループもAIを翻訳、校正、コードの修正といった極めて初歩的なデスクワークにしか使っていなかった点です。

しかも一般ユーザーへの拡散には完全に失敗しています。ブルッキングス研究所の影響力評価スケール（1〜6段階）において、今回の5件はいずれもレベル2以下にとどまりました。複数のプラットフォームに投稿をばらまいたものの、実際のコミュニティには全く届いていません。

運用側のミスも目立ちました。AIモデルが出力した生成拒絶メッセージを、そのまま気付かずにSNSやウェブサイトへ貼り付けて投稿してしまうお粗末な事例も確認されています。

防御側の調査スピードは数カ月から数日へ

攻撃側の手口が原始的な一方で、防御側の進化は急速です。

OpenAIの安全システムは、悪意ある生成要求をプロンプトの段階で弾いていました。さらに同社の調査チームは、独自のAI調査ツールを活用することで、これまで数週間から数カ月かかっていた工作ネットワークの特定・分析をわずか数日に短縮したといいます。

特定された脅威データは業界各社や外部の研究コミュニティにも共有され、早期の封じ込めに役立てられています。

なぜ重要か

私たちは、この報告書がAIによる世論操作の過度な脅威論に冷静な視点を与えたと考えます。

世論工作の本質的な障壁は、テキストの量産能力ではなく、アルゴリズムに乗せて本物の読者の共感を得るディストリビューションです。いくらAIで何千本ものコメントを自動生成しても、誰にも見られなければただのスパムにすぎません。

だからといって油断は禁物です。不自然な文法ミスがなくなり、外国語でのなりすましが格段にやりやすくなったのは事実です。一見すると一般市民のように見えるアカウントを見分けるのは難しくなっています。

業界全体として見れば、現時点では攻撃側よりも防御側のAI活用が優位に立っていることが示されました。ログの追跡やパターン分析において、AIは人間の調査能力を大幅に引き上げています。

ただし課題もあります。OpenAIが取り締まれるのは自社のクラウドAPIだけです。同様の手法がローカル環境で動くオープンソースモデルに移行した場合、プラットフォームを越えた追跡は一段と難しくなるはずです。