ElevenLabsが音声クローン悪用で対策強化へ、有名人の偽音声拡散

わずか1分のクリアな音声サンプルがあれば、AIはその人物が一度も口にしていない言葉を、イントネーションや感情までそっくりに再現できてしまいます。

しかし、オーディオブックやニュースの読み上げを想定して公開された最新ツールは、瞬く間に悪意あるネットユーザーの標的となりました。

4chanで拡散した著名人のフェイク音声

月曜日、AI音声生成スタートアップのElevenLabsは、最近公開したベータ版において「音声クローンの不正利用事例が増加している」ことを公式Twitterで認めました。

事の発端は日曜日に海外の匿名掲示板「4chan」へ大量の著名人フェイク音声が投稿されたことでした。スレッドにはElevenLabsのベータ版へのリンクも貼られていました。

投稿された音声は悪質なものばかりでした。女優のエマ・ワトソンの声で『我が闘争』の一節を朗読させたり、保守系論客のベン・シャピーロの声で人種差別的な暴言を吐かせたりするクリップが含まれていました。

さらに、アニメ『リック・アンド・モーティ』のキャラクターの声を使って家庭内暴力を脅迫するような音声まで生成され、急速に拡散しました。

急成長の裏で迫られる対策

ElevenLabsは、元Googleの機械学習エンジニアであるPiotr Dabkowski氏と、元Palantirのデプロイ担当者Mati Staniszewski氏によって設立されました。同社は今月、チェコのベンチャーキャピタルCredoが主導するプレシードラウンドで200万ドルを調達したばかりです。

同社の技術は極めて手軽で、1分以上のノイズのない音声ファイルをアップロードするだけで、誰の声でもクローンでき、あらゆるアクセントの再現が可能とされています。

同社は、生成された音声データは特定のアカウントまで追跡可能であると説明しています。しかし、一度ネット上にばらまかれた音声の拡散を防ぐ手立てにはなっていません。

現在、同社は対策として、クローン機能の利用に決済情報の登録や公的身元確認の義務付け、あるいはすべてのクローン申請を手動で事前審査する仕組みの導入を検討しています。

なぜ重要か

かつて画像や動画のディープフェイクが登場した際も、最初の被害は著名人の名誉毀損や同意のない性的コンテンツでした。音声合成技術もいま、まったく同じ轍を踏もうとしています。

動画と比べて音声は生成が手軽なうえ、人間が偽物だと見抜く難易度も高くなります。SNSに短い動画を数本投稿している人なら、誰でも1分程度の音声サンプルを拾われ、詐欺や嫌がらせに悪用される危険性があります。

ElevenLabsが検討している身元確認や手動審査は、ツールの拡散性を大きく削ぐ苦肉の策に見えますが、放置すれば法的・倫理的な追及は免れません。

私たちは、生成AIサービスがユーザー獲得を優先するあまり、認証や同意確認といった安全策を後回しにする時代は終わったと考えています。声という個人のアイデンティティを扱う以上、最初の設計段階から悪用防止のフェンスを高く設けておくことが不可欠です。