ElevenLabs 上線 AI 配音工具：翻譯語音還能保留本人音色

看海外博主的影片或者譯製片時，最彆扭的往往不是聽不懂，而是配音演員一開口，原片那種自然的情緒和獨有的音色全沒了。

做語音 AI 的 ElevenLabs 想徹底改掉這個痛點。10 月 10 日，ElevenLabs 正式上線了全新的 AI Dubbing（AI 配音）工具，主打在幾分鐘內把音影片翻譯成其他語言，而且完全保留原講述者自己的聲音。

讓你自己的聲音無縫說出 20 種語言

以往的內容出海，要麼老老實實加雙語字幕，要麼花大價錢請多語種配音演員重新錄一遍。ElevenLabs 這次交出的方案，走的是全流程自動化的路子。

這個工具依託於此前釋出的 Eleven Multilingual v2 模型，目前支援超過 20 種語言互譯，包括印地語、葡萄牙語、西班牙語、日語、烏克蘭語、波蘭語和阿拉伯語等。

它最亮眼的地方在於不僅克隆音色，還會盡量還原說話時的情緒起伏和語調。說白了，你在原影片裡激昂還是低沉，翻譯過去的西班牙語或日語版本里，依然能聽出那種感覺，而不是平淡無奇的機器朗讀腔。

另外，現實裡的影片很少是單一無雜音的人聲。ElevenLabs 專門開發了自己的多說話人檢測演算法與降噪技術，能把背景音樂、環境雜音和人聲對話剝離開來。如果一段影片裡有幾個人在討論，系統能自動識別出誰是誰，給每個人分配對應的音色克隆，不會混在一起。

這項功能之前，ElevenLabs 還剛剛推出了針對長音訊生成與編輯的 Studio 工具，支援角色分配、停頓插入和片段重新生成。AI Dubbing 算是給他們的音訊工具箱補上了本地化翻譯這塊最關鍵的拼圖。

為什麼重要

我們認為，AI Dubbing 對內容創作者來說是一次分發維度的質變。ElevenLabs 提到過一組資料：全球只有 6% 的人以英語為母語，75% 的人根本不說英語。過去中腰部個人博主想要做海外多語種矩陣，成本高到根本不現實；現在只要點幾下滑鼠，幾分鐘就能低成本生成多語種版本，出海門檻被直接打到了地板上。

對行業而言，傳統的本地化譯製公司和初級商業配音員會面臨極其現實的衝擊。以往動輒按小時計費、耗時數週的外語配音外包流程，在速度和成本上完全沒辦法和 AI 自動化工具抗衡。

ElevenLabs 這步棋走得非常聰明，他們沒有停留在單純的文本轉語音 API，而是順著創作者的工作流，把人聲分離、去噪、多說話人識別和跨語言克隆打包成現成產品。不過隱患也顯而易見：這次官方並沒有提及口型匹配（Lip-sync）功能，如果畫面裡的口型和外語發音嚴重脫節，沉浸感依然會打折扣。如何把語音本地化與面部口型合成結合起來，看起來才是多模態翻譯真正的終局戰場。