Spotify、OpenAIと連携しポッドキャスターの「地声」でAI多言語翻訳

いつも聴いている英語のポッドキャスト番組で、パーソナリティが突然流暢なスペイン語を話し始める。しかも声のトーンや話し方の癖は本人のまま。

Spotify は 9 月 25 日、OpenAI とのパートナーシップによる新機能「Voice Translation」を発表しました。AI を活用し、配信者自身の声をクローンして他言語のエピソードを自動生成する技術です。

配信者本人の声で多言語化する

従来の翻訳手法といえば字幕か吹き替え声優の起用が一般的でした。しかし字幕は「ながら聴き」の邪魔になり、別の声優を使うと配信者特有の空気感が消えてしまいます。

Spotify の新機能はこの課題をクリアしようとしています。翻訳の土台となっているのは OpenAI の音声認識ツール Whisper ですが、単にテキスト化するだけにとどまりません。翻訳後のテキストを、配信者自身の声の特徴を学習した合成音声で読み上げます。

まずは英語のエピソードをスペイン語へ翻訳することからスタートし、今後数週間でフランス語やドイツ語への対応も予定されています。

初期テストには Lex Fridman、Dax Shepard、Monica Padman、Bill Simmons、Steven Bartlett といった著名な配信者が参加しています。さらに The Ringer の「The Rewatchables」や、Trevor Noah の今後の新番組にも対象を広げる計画です。

安全性を考慮した限定公開

音声合成の裏側にいるのも OpenAI です。同社は数秒の音声サンプルとテキストから人間そっくりの音声を生成できるツールを発表したばかりですが、安全性やプライバシーへの配慮から提供範囲を意図的に制限しています。

Spotify が今回のテストを一部の選ばれた配信者だけに限定しているのも、同じ理由からだと見られます。一般のクリエイターへいつ開放されるのか、具体的なスケジュールは明かされていません。

なお展開スケジュールには微調整もあり、当初は初日から提供予定とされていたフランス語版エピソードは、後日の配信へと変更されました。

なぜ重要か

ポッドキャストという媒体の最大の魅力は、配信者の肉声がもたらす親近感にあります。Spotify のパーソナライゼーション担当副社長 Ziad Sultan が語るように、本人の声を保ったまま母国語で聴ける体験は、海外リスナーにとって翻訳コンテンツの心理的ハードルを大きく下げるはずです。

人気ポッドキャスターにとっても、スタジオで追加の収録を行うことなく、中南米や欧州といった巨大な非英語圏市場へ一気にリーチを広げられるメリットがあります。

業界の視点で見れば、Spotify のこの戦略は非常に賢明だと私たちは考えます。独占配信タイトルの獲得競争が頭打ちになるなか、既存の英語資産を他言語圏へ横展開できれば、コンテンツの投資対効果を何倍にも引き上げられるからです。

一方で課題はやはり悪用と精度のリスクです。自分の声で意図しないニュアンスの発言が生成されてしまった場合、配信者本人のブランドを傷つける恐れがあります。OpenAI が慎重な姿勢を崩さないことからも分かる通り、すべての配信者がワンクリックで使えるようになるまでには、まだ越えるべきハードルが多そうです。