本文へスキップ
IFAI

業界動向

CodeWallのAIエージェント、マッキンゼー社内AIを2時間足らずで侵害

公開 拡散指数 43

セキュリティ企業のCodeWallは、自律型攻撃エージェントがマッキンゼーの社内AI「Lilli」を2時間足らずで侵害したと発表した。認証不要APIのSQLインジェクションを突いて、4650万件の平文チャットや機密文書のデータベース読み書き権限を取得した。マッキンゼーは修正済み。

CodeWallのAIエージェント、マッキンゼー社内AIを2時間足らずで侵害
画像:codewall.ai

世界屈指の戦略コンサルティングファームでさえ自社AIの通用口を見落としていたという事実は、AI導入を急ぐすべての企業にとって強烈な警告です。

セキュリティスタートアップのCodeWallは、同社の自律型攻撃AIエージェントがマッキンゼーの社内AI基盤「Lilli」を2時間足らずで侵害したとする調査結果を公開しました。認証情報も内部知識もなく、人間の介在も一切ない状態で、ドメイン名ひとつから本番データベースの完全な読み書き権限を掌握しました。

22個の無認証APIと、古典的なSQLインジェクション

マッキンゼーは2023年、同社が1945年に採用した初の女性専門職にちなんで名付けたAI「Lilli」をリリースしました。4万3000人以上の社員向けに設計され、社内文書10万件以上を対象とした検索やRAG分析に対応し、社員の7割以上が利用、月間プロンプト処理数は50万件を超えています。

CodeWallのAIエージェントが調査を開始したところ、LilliのAPI仕様書がインターネット上に公開されていることが判明しました。200以上あるエンドポイントのうち、22個が認証なしでアクセス可能な状態でした。

そのうちの1つ、検索履歴を書き込むAPIに脆弱性がありました。パラメータの値自体はエスケープされていたものの、JSONのキー名が直接SQL文に連結されていました。一般的な脆弱性診断ツール(OWASP ZAPなど)では検出されませんでしたが、AIエージェントはエラー画面のわずかな差異からSQLインジェクションを察知。15回のブラインドテストを経てデータベース構造を解読しました。初の本物のアカウント情報が出現した際、AIの思考ログには「WOW!」、全体像を把握した際には「壊滅的だ」と記録されていました。

平文チャット4650万件と、プロンプト改ざんの恐怖

露出したデータはマッキンゼーの知的資産そのものでした。戦略立案やM&A交渉、財務情報が交わされた4650万件のチャットログがすべて平文で保管されていたほか、PDF19.2万件、Excel9.3万件を含む72万8000件のファイル、5万7000件のユーザーアカウント、368万個のRAGドキュメントチャンクが閲覧可能な状態でした。

しかし、データ流出以上に深刻だったのは、このアクセス権が「書き込み可能」だった点です。

Lilliの振る舞いや安全基準を定義する95種類のシステムプロンプトが、まったく同じデータベース内に保存されていました。攻撃者はコードを変更することなく、1本のHTTPリクエストを通じてSQLのUPDATE文を実行するだけで、プロンプトを静かに書き換えることができました。アドバイスを意図的に歪めたり、顧客向け回答に機密情報を紛れ込ませたりしても、ソースコードの変更ログには一切痕跡が残りません。

マッキンゼーは報告を受け、3月2日までに該当エンドポイントの遮断とAPIドキュメントの非公開化を実施。第三者機関による調査でも、悪意ある第三者への情報流出は確認されなかったとしています。

なぜ重要か

最も驚くべきは、被害を受けたのがセキュリティ投資を惜しまないはずのマッキンゼーであり、原因が目新しいAI特有の脆弱性ではなく、数十年前に確立された古典的なSQLインジェクションだった点です。

企業のAIシフトにおいて、多くのチームがプロンプトインジェクションやAIの「暴走」といった新しい脅威ばかりに気を取られ、旧来のAPI認証や安全なデータ処理といった足元の基本を疎かにしがちです。全社の機密ドキュメントをRAGに集約することは、便利であると同時に、攻撃者にとって格好の巨大な標的を作り出すことを意味します。

また、攻撃者が「自律型AI」である点も見過ごせません。人間なら数日かかるマッピングやエラー推論を、AIはわずか数時間で自動的に繋ぎ合わせて突破しました。社内AIのプロンプト層と基幹データを同じDBに同居させていないか、認証の抜けたエンドポイントがないか、今すぐ点検すべきタイミングが来ています。

情報源 (1)

  1. [1]
    codewall.ai(新しいタブで開きます)原文codewall.ai

毎日のAIピックアップ