D-ID 推出影片翻譯工具：自帶聲音克隆與嘴型同步，支援 30 種語言

還記得前幾年在社交網路上刷屏的「讓老照片開口說話」嗎？那陣風潮背後的推手 D-ID，如今把目光投向了更實用的跨國影片傳播場景。

AI 影片生成平臺 D-ID 宣佈推出全新的影片翻譯工具 AI Video Translate。它不單單是把原影片的語音轉成外語，還會克隆主講人的聲音，同時自動調整畫面里人物的唇形，讓說話動作和翻譯出來的外語完全對上號。

這套功能背後依賴的是 D-ID 自研的專有模型 Rosetta-1。目前這項翻譯能力已經整合到了 D-ID Studio 和 API 介面中，支援包括中文普通話、阿拉伯語、日語、印地語、西班牙語和法語在內的 30 種語言。平臺還為使用者提供了一個月的試用期。

5 分鐘限制與單人出鏡規則

想要用上這項工具，D-ID 也劃出了一些具體的門檻。

影片長度必須在 10 秒到 5 分鐘之間，檔案體積不能超過 2GB。另外，畫面中只能出現一個人，而且最好全程正臉面對鏡頭，面部不能被遮擋，才能保證唇形匹配的效果。

在價格方面，這項功能目前面向 D-ID 的付費訂閱使用者免費開放。D-ID 的訂閱方案起步價為每年 56 美元，包含最基礎的 AI 點數額度；更高階的版本可達每年 1293 美元，再往上則是針對大客戶的企業定製價格。

這家初創公司在 2022 年就完成了 2500 萬美元的 B 輪融資，當時的目標就是為了更好地服務正在快速增長的美國企業客戶，幫他們在營銷、娛樂和社交媒體傳播中降低本地化成本。

扎堆的音影片本地化賽道

影片配音過去一直是個昂貴且門檻極高的活兒，但這兩年正迅速被 AI 改造。比如 YouTube 之前推出的多語言音訊功能，知名網紅 MrBeast 就曾用它把多期熱門影片分發成了 11 種語言。

不過，隨著開源唇形同步庫（例如 Wav2lip）的普及，入局這門生意的選手越來越多。微軟今年宣佈將支援在使用者觀看影片時即時進行 AI 翻譯配音；Vimeo 也在 7 月上線了支援克隆聲音的翻譯工具。

此外，市面上還有 ElevenLabs、Descript、Speechify、Veed、Captions.ai、Camb.ai、Akool，以及主打數字人跨語言表達的 HeyGen 和 Deepbrain AI。D-ID 面臨的是一個極度擁擠的競爭環境。

為什麼重要

對於個人創作者和出海營銷團隊來說，翻譯、克隆聲音加對口型的一體化方案，確實大幅縮短了內容出海的週期。以前請專業譯配團隊費時費力，現在一個人就能把講解類影片鋪向多語種市場，訂閱門檻也不算高。

但從產品限制來看，它目前還只適合講臺式的出海場景：5 分鐘的時長上限、嚴格限定單人正臉面對鏡頭。這意味著訪談、情景劇、多人互動類內容基本無法使用，實用範圍相對有限。

在行業層面，這類工具正在把「跨語言傳播」變成基礎標配功能，逼得各大平臺加速將配音與唇形調整內化。不過，我們認為 D-ID 現在的處境談不上高枕無憂。前面有像 ElevenLabs 這樣在語音克隆上表現突出的選手，側面有 HeyGen 這樣深度把持跨語種數字人場景的勁敵，後方還有開源工具的追趕。自研 Rosetta-1 模型能否在唇形自然度和多語種情緒還原上拉開真正差距，才是它能否留住企業客戶的關鍵。