跳到正文
IFAI

AI工具

ElevenLabs 結束 Beta 測試:釋出 Multilingual v2,支援 28 種語言跨語克隆

首次發布 傳播指數 52

ElevenLabs 宣佈平臺正式結束 Beta 測試,並推出語音生成模型 Eleven Multilingual v2。新模型支援中文、韓語、日文等 28 種語言,能自動識別輸入語種,並保持說話人原有的音色和口音特徵,用同一套聲音完成多語種配音。

ElevenLabs 結束 Beta 測試:釋出 Multilingual v2,支援 28 種語言跨語克隆
圖:the-decoder.com

想像一下,你錄了一段自己的母語音訊,AI 抓取你的音色後,不僅能用你的聲音說流利的日語、阿拉伯語或芬蘭語,還能把你在母語裡那種略帶沙啞的質感和說話口吻原汁原味地保留下來。

語音 AI 公司 ElevenLabs 正式結束了測試期,同時推出了全新的多語言語音生成基礎模型 Eleven Multilingual v2。這家自 1 月推出平臺以來的初創公司宣佈,其全球使用者量已經突破 100 萬。

一副嗓子,直接說 28 種語言

這次更新的核心是 Eleven Multilingual v2 模型。使用者只要在文本框裡輸入文字,模型就能自動識別近 30 種書面語言,並直接生成帶有情緒起伏的高擬真語音。

新模型支援的語言擴充套件到了 28 種。這次新加入的包括中文、日文、韓文、荷蘭語、土耳其語、瑞典語、印尼語、菲律賓語、烏克蘭語、希臘語、捷克語、芬蘭語、羅馬尼亞語、丹麥語、保加利亞語、馬來語、斯洛伐克語、克羅埃西亞語、標準阿拉伯語以及泰米爾語。加上此前已經支援的英語、德語、西班牙語、法語、義大利語、波蘭語、葡萄牙語和印地語,基本覆蓋了歐洲、亞洲和中東的主流受眾。

最厲害的地方在於跨語言的聲音一致性。無論是系統生成的合成聲音,還是使用者克隆的聲音,在切換到任何一種新語言時,都會保留原有的聲線特徵甚至原始口音。結合之前面向所有創作者開放的專業聲音克隆功能,任何人都能用自己幾乎無可分辨的數字聲音,去講 28 種完全聽不懂的語言。

ElevenLabs 表示,這項技術完全基於其歷時 18 個月的自主研發,重點攻克了人類語音標記、語境理解和情緒傳遞等機制。目前,包括遊戲開發商 Paradox Interactive、Embark Studios 以及 Storytel、D-ID、TheSoul Publishing 等公司都已經在業務中使用他們的技術。

公司還透露,接下來將上線一個聲音共享機制,允許使用者在平臺上分享自己的聲音並從中獲取收益。

為什麼重要

對於個人創作者和中小團隊來說,跨語言內容出海的成本被瞬間拉低了。以前獨立遊戲開發者想把遊戲推向十幾個國家,配音成本是個天文數字;YouTube 影片作者想做多語種本地化,往往只能找生硬的機械朗讀或花重金請外包。現在一個人加上一套克隆聲音,就能批次輸出保留情緒和辨識度的多語種配音,我們認為這會讓跨國小團隊的競爭力直接翻倍。

對行業而言,ElevenLabs 正在把語音合成的競爭門檻從單純的擬真度推向跨語言的情緒表達。傳統的跨語言 TTS 往往需要在每種語言下重新訓練或換用完全不同的聲線,而 ElevenLabs 把音色克隆與多語言生成做成了一個連貫的模型體系,這會逼著其他語音廠商加快多語言基座模型的自研進度。

不過,這種技術的普及也伴隨著顯而易見的風險。當任何人都能以極低門檻生成高度逼真、且帶著特定人物音色的幾十種語言音訊時,跨國虛假資訊傳播、深度偽造詐騙的防範難度會成倍上升。雖然 ElevenLabs 強調已上線多項安全機制,但隨著其走向正式商業化並計劃推行聲音共享變現,版權保護與反濫用防線仍將面臨最嚴峻的考驗。

來源 (2)

  1. [1]
    elevenlabs.io(在新分頁開啟)原文elevenlabs.io
  2. [2]

每日 AI 內容精選