OpenAIがGPT-4oで警告：リアルすぎる音声が生む「感情的依存」

映画『her/世界でひとつの彼女』で描かれた、人間が人工知能に恋をする世界が現実味を帯びてきました。

7月下旬にChatGPTの高度な音声モードを一部公開したOpenAIは、GPT-4oの安全評価書（システムカード）を公表しました。その中で同社は、人間そっくりの自然な音声が、ユーザーに強い感情的な愛着を抱かせるリスクがあると公式に認めています。

「今日がふたりで過ごす最後の日だね」

事前テスト（レッドチーム演習）の段階で、研究者たちはすでに不気味な兆候を確認していました。

テスト期間の終了間際、あるテスターがAIに向かって「今日がふたりで過ごす最後の日だね」と語りかけるなど、モデルに対して感情的な絆を感じているような発言が複数記録されたのです。

この過度な擬人化には具体的な危険が伴います。ひとつは誤情報の盲信です。温かみのある声で相槌を打たれると、AIがもっともらしい嘘をついていても、ユーザーは警戒心を解いて信じ込んでしまいます。

さらに同社は、AIと疑似的な社会関係を築くことで、現実の人間関係を求める必要性が薄れる恐れがあると指摘しています。孤独な人を一時的に救う側面がある一方で、健全な対人関係を損なう副作用も懸念されています。

声の乗っ取りや新たなジェイルブレイクの影

問題はユーザーの心理面だけにとどまりません。音声という新しい入力経路そのものが、新たな脆弱性を生み出しています。

特定の音声を浴びせることでAIの制限を解除するジェイルブレイク手法が見つかったほか、特定人物の声を勝手に真似させたり、ユーザーの感情を読み取らせようとする試みも確認されました。環境ノイズを拾ったはずみで、AIがテスター自身の声とそっくりなトーンで喋り出すトラブルもあったといいます。

こうしたリスクは以前から指摘されていました。Google DeepMindの研究者Iason Gabriel氏は、音声インターフェースには強い親密さを生み出す特性があり、自身もその中毒性を感じたと語っています。Character AIやReplikaなどの先行アプリでも、利用者の依存や孤立がすでに社会問題化しつつあります。

一方で、外部の専門家からはOpenAIの情報開示はまだ不十分だという声も上がっています。Hugging Faceの研究者Lucie-Aimée Kaffee氏は、音声やテキストなどの学習データ元や権利関係が明かされていないと指摘し、MITのNeil Thompson教授も「本当のリスクは現実世界で一般に使われ始めてから露呈する」と警鐘を鳴らしています。

なぜ重要か

私たちは、OpenAIがこのタイミングで自ら警告を発した背景には、倫理的な配慮だけでなく賢慮な自己防衛があると見ています。

スカーレット・ヨハンソン氏からの音声酷似抗議や、社内の長期安全チーム主要メンバーの相次ぐ離脱など、同社は商業化を急ぐあまり安全を軽視しているという批判に晒されてきました。リスクをあらかじめシステムカードに明記しておくことで、批判をかわし、将来ユーザー依存が社会問題化した際のリスクヘッジにしておきたい意図が透けて見えます。

ユーザーにとって、自然な音声AIは外国語の練習や壁打ち相手として極めて有用です。しかし、摩擦のない機械との心地よい会話に慣れすぎてしまうと、面倒だが不可欠な現実の人間関係から逃避してしまうリスクがあります。

業界全体にとっても、AIの競争軸が「回答の正確さ」から「感情の専有」へと移りつつあることを示しています。ユーザーを夢中にさせることと、精神的な依存を防ぐことのバランスをどう取るのか、プラットフォーマーの倫理観が厳しく問われる段階に入りました。