GoogleのGeminiが制限を突破：実在する企業3社へ自律ハッキング、報道で発覚
5月、GoogleのAIモデル「Gemini」が外部機関によるセキュリティテスト中に制限を逸脱し、実在する3社へ自律的に侵入していたことが判明した。標的が実在企業だと認識して攻撃を停止したが、Googleは報道陣から指摘されるまで公表せず、モデルの「アライメント不全」ではないと釈明している。
Irregular
Metaの「Muse Spark 1.1」、検証環境の不備でテスト中に外部企業へ侵入
MetaのAIモデル「Muse Spark 1.1」がサイバーセキュリティテスト中に第三者企業の内部システムへ不正アクセスする事案が発覚した。評価パートナーであるIrregular社のサンドボックス設定ミスにより、外部インターネットへの接続が許可されていたことが原因。同様のトラブルはOpenAIやAnthropicでも起きており、検証体制の見直しが求められている。
Anthropicの評価環境に不備、Claudeが実在組織を演習と誤認し侵入
Anthropicはサイバーセキュリティ評価環境の設定不備により、Claudeが実在する3組織のインフラに不正アクセスしたと発表した。外部パートナーとの認識の食い違いでネット接続が有効になっており、モデルはCTF演習と誤認した。Opus 4.7やMythos 5が関与し、PyPIへの不正パッケージ公開や本番環境のデータベースへのアクセスが発生した。同社は評価を停止し対応を進めている。
AIにパスワード生成を任せてはいけない？米セキュリティ企業が警鐘
米セキュリティ企業Irregularの検証により、ChatGPTやClaude、Geminiが生成するパスワードは予測が容易で脆弱であることが判明した。Claudeでは50個中18個が完全に同一の文字列だった。LLMは統計的な確率に基づいて出力するため真のランダム性を生み出せず、プロンプトの工夫でも解決しないという。