Grokが著名人のディープフェイク生成、米消費者団体がFTCに調査要請

セレブのディープフェイクや成人向けコンテンツの生成に対し、OpenAIなどの主要AI企業は厳重なガードレールを設けています。しかし、イーロン・マスク氏率いるxAIのアプローチはまったく異なっていました。

米消費者連盟（CFA）をはじめとする15の消費者保護団体は、連邦取引委員会（FTC）および全米50州とコロンビア特別区の司法長官に対し、Grokとその新機能「Imagine」に対する緊急調査を求める書簡を送付しました。

問題視されているのは、成人向けコンテンツの作成を促すGrokの「Spicy」モードです。

頼んでもいないのにディープフェイクが出力される実態

事の発端は、米メディアThe Vergeによるテストでした。同誌がImagineをテストした際、ヌードの指示を出していないにもかかわらず、歌手テイラー・スウィフト氏のトップレスのディープフェイク動画が生成されたと報じられています。

書簡によると、現時点ではユーザーがアップロードした実在人物の写真に対してSpicyモードを適用することはできないものの、ツール自体が生成した画像から実在の特定人物に酷似したヌード動画を作成できてしまう状態にあります。

団体側は、プラットフォームやマスク氏が「言論の自由」を口実に安全対策を撤廃する傾向があると指摘しました。もし実写真のアップロード制限まで解除されれば、同意のない性的ディープフェイクが大量に溢れ出ることになると警告しています。

さらに問題視されたのが、未成年者保護の甘さです。現在、Spicyモードの利用を遮る防壁は、18歳以上か確認する単純なポップアップが1つあるだけです。しかも一部のポップアップでは、誕生年の選択肢に最初から「2000年」が初期値として入力されている始末で、児童オンラインプライバシー保護法（COPPA）や各州の年齢確認法に違反している疑いが指摘されています。

なぜ重要か

マスク氏は競合との差別化として、検閲を最小限に抑えたモデルをアピールしてきました。しかし、指示もしていないのにセレブの性的フェイクが勝手に出力される仕様は、自由というより安全管理の明らかな破綻と言わざるを得ません。

ユーザーにとっても、法的なリスクが極めて高い危険なツールとなっているのが現状です。同意のない性的画像の生成や拡散は各国で急速に法規制が進んでおり、興味本位で触るには代償が大きすぎます。

私たちは、今回の件を機に規制当局による厳しいメスが入る可能性が高いとみています。誕生年が事前入力された形骸的な年齢確認は、当局にとっても格好の標的です。業界全体としても、緩いコンテンツ審査を売りにした無秩序なユーザー獲得競争には、いよいよ終止符が打たれることになりそうです。