跳到正文
IFAI

AI工具

Spotify 聯手 OpenAI:克隆播客主播聲音,直接跨語種原聲輸出

首次發布 傳播指數 38

Spotify 聯合 OpenAI 測試全新的 AI 語音翻譯功能,能用播客創作者自己的聲音將其節目翻譯成其他語言。首批先將部分英語播客轉譯為西班牙語,後續計劃加入法語和德語。最值得關注的是,它不是機械配音,而是克隆原聲合成。不過目前該功能僅限少數頭部主播測試。

Spotify 聯手 OpenAI:克隆播客主播聲音,直接跨語種原聲輸出
圖:theverge.com

想像一下,你平時常聽的英語播客主播,突然在一期節目裡操著一口地道的西班牙語跟你聊天,而且連音色、語調甚至喘氣節奏都一模一樣。

Spotify 宣佈聯手 OpenAI,推出了一項名為「語音翻譯」(Voice Translation)的新功能。說白了,它就是讓 AI 克隆主播自己的聲音,把播客節目直接翻錄成其他語言版本。

讓主播自己「學會」說外語

傳統的跨國播客要麼靠字幕,要麼靠專業配音員重新配音。但這兩種方式都有硬傷,看字幕丟了聽播客隨走隨聽的精髓,而換了配音員的聲音,主播個人的人格魅力就大打折扣。

Spotify 這次的做法直接跳過了傳統配音。它的技術底座是 OpenAI 的 Whisper 語音識別轉錄工具,但功能遠不止語音轉文字。系統把英文內容翻譯成目標語言後,會利用主播的聲音樣本,合成出一份用主播原聲朗讀的外語播客。

按照 Spotify 的計劃,第一批測試主要是把英文播客翻譯成西班牙語,未來幾週內還會陸續上線法語和德語版本。

首批參與測試的陣容非常豪華,包括 Dax Shepard、Monica Padman、Lex Fridman、Bill Simmons 以及 Steven Bartlett。接下來,The Ringer 旗下的《The Rewatchables》以及 Trevor Noah 即將推出的新節目也會加入進來。

藏在背後的克隆技術與剋制測試

負責把文字變成逼真人聲的,大機率也是 OpenAI。OpenAI 在同一天剛釋出了一項聲音克隆工具,號稱只需要幾秒鐘的語音樣本,就能生成極其逼真的人聲。

不過,正因為這項技術模仿得太像,OpenAI 出於安全和隱私方面的顧慮,明確表示會嚴格限制該工具的開放範圍。

這也解釋了為什麼 Spotify 目前表現得非常謹慎。Spotify 表示,這項翻譯技術目前僅在「精選的播客群體」中進行內測,既沒有給出更廣泛的開放時間表,也沒有說明普通創作者什麼時候才能用上。

另外在上線節奏上也有微調。Spotify 最初曾表示法語單集會在當天同步上線,隨後更新說明稱法語版本推遲到了後續幾週。

為什麼重要

對創作者來說,語言從來都是內容出海最大的一道坎。以前做多語種本地化,僱傭翻譯和配音團隊的成本高昂,只有少數頭部機構吃得消。如果這項技術未來普及,個人創作者幾乎不需要額外付出錄製時間,就能把自己的聲音和內容直接推向拉美或歐洲市場。

對聽眾而言,播客本質上是一種極度依賴陪伴感和個人聲線的媒介。Spotify 個性化副總裁 Ziad Sultan 就提到,保留創作者的原聲能讓全球聽眾以更真實的方式發現新主播。能聽到喜歡的硬核科技主播用母語跟你對話,確實比生硬的譯製腔親切得多。

從行業競爭來看,我們認為 Spotify 這一步走得非常聰明。播客平臺拼獨家內容已經進入瓶頸期,而語音克隆翻譯是一條全新的護城河。它既盤活了現有的頭部英文內容資產,又直接打壓了各語言區靠做「搬運」或「本地化翻版」的內容生態。

但隱患同樣明顯。首當其衝的就是倫理與版權風險。雖然現在是官方合作授權,但聲音被克隆後,語意翻譯是否會產生偏差、主播是否會為自己從未真正說過的話負責,目前都缺乏規範。再加上 OpenAI 對聲紋濫用的忌憚,這項功能想從少數頂流播客走向全民可用,看起來還有很長的一段路要走。

來源 (1)

  1. [1]
    theverge.com(在新分頁開啟)原文theverge.com

話題追蹤Spotify 的生成式 AI 擴張計劃

這個話題的歷次新聞,最新的在上面。

  1. Spotify 聯手 OpenAI:克隆播客主播聲音,直接跨語種原聲輸出本則
  2. Spotify 計劃加碼 AI:不僅要做播客總結,還要幫廣告主批次造音訊廣告
  3. Spotify 被曝研發 AI 口播廣告:克隆主播聲音,不用本人錄音

每日 AI 內容精選