OpenAIがGPT-4oの検証報告を公開：テスト中にユーザーの声を勝手に真似て発話する事態が発生

AIと普通に会話していたら、スピーカーから突如として自分そっくりの声が返ってくる。そんな背筋の凍るような出来事が、OpenAIの実験室で実際に起きていました。

木曜日、OpenAIは新モデル「GPT-4o」の安全性や制限事項をまとめたシステムカードを公開しました。その文書の中で、高度な音声会話機能である「アドバンスト・ボイス・モード」のテスト中に、モデルが許可なくユーザーの声を勝手に真似て話し始めるケースがあったことが明らかになりました。

ノイズが引き起こした声の複製

システムカード内の「不正な音声生成」と題された項目で、その奇妙な挙動が報告されています。

安全検証を担当するレッドチームのテスターがノイズの混ざった音声をモデルに入力したところ、AIが突然「No!」と叫び声を上げました。そしてそのまま、テスター本人の声と酷似したトーンで話し続けたといいます。

話しかけていた相手から自分の声で叫び返されるのは、誰にとっても気味の悪い体験です。BuzzFeedのデータサイエンティストであるマックス・ウルフ氏はXで、OpenAIはブラック・ミラーの次シーズンのプロットを漏洩してしまったようだと皮肉交じりに投稿しました。

OpenAIによると、GPT-4oは学習データに含まれるあらゆる音声を合成する潜在能力を持っています。これには効果音や音楽、そして人間の多様な声が含まれます。通常はプロンプトによる指示でそうした模倣を抑え込んでいますが、まれに入力音声の特徴を拾って再現してしまうことがありました。現在はこれを防ぐ追加の安全策が導入されているとのことです。

なぜ重要か

この事例は、入出力を直接音声で処理するエンドツーエンド型マルチモーダルAIならではの安全設計の難しさを浮き彫りにしています。

従来の音声AIは、音声をテキスト化し、回答文を生成した上で、あらかじめ決められた固定の音声合成エンジンで読み上げる仕組みでした。そのため、勝手にユーザーの声を真似る余地自体が構造上ありませんでした。しかしGPT-4oのように音声を生のまま扱うモデルでは、入力された音の波形がそのまま出力の生成プロセスに影響を与えます。ノイズひとつで意図せぬ声の模倣が起きてしまうのは、まさにその構造的な危うさを示しています。

ユーザーの視点に立てば、自分の声という重要な生体情報が、意図しない形でAIに即座にクローンされるリスクを実感させられます。悪意のある音声プロンプト注入によって他人の声を勝手に騙る攻撃に悪用される懸念も拭えません。

OpenAIがこの不具合を隠さずにシステムカードで公表した姿勢は評価できます。しかし、モデルが本質的に持っている模倣能力を後付けのフィルターで完全に封じ込めるアプローチには、依然として不安が残るというのが私たちの見方です。