Just Dub It：把影片配音成外語，口型也能自動對上

Just Dub It 是一個開源的影片自動配音與口型同步工具。它的核心用途很明確：給你一段原本說某種語言的影片，它能把它配音成法語、德語、葡萄牙語等外語，同時重新生成匹配的嘴唇動作，讓畫面看起來就像說話人天生就在講那門新語言。

專案團隊將程式碼、模型權重以及訓練資料集完整開源。如果你平時需要做跨語言影片本地化，或者在找能夠本地執行的音影片同步方案，這個專案值得立刻拉下來看看。

它能做什麼

傳統的影片翻譯通常分好幾步，先做語音識別、文字翻譯，再找文字轉語音生成音訊，最後拿額外的口型工具強行去貼嘴型。這種拼裝方案往往動作僵硬，說話時的面部肌肉和光影也很容易穿幫。

Just Dub It 走的是聯合生成的路子。它能在一套擴散生成流程裡，同時生成翻譯後的語音和嘴唇運動。官方演示裡展示了多個片段，一段原本講英語的洗澡獨白，被無縫轉換成了法語、德語和葡萄牙語，口型變換自然，原本的人物長相特徵也沒有變形。

在生成效果上，它不僅管嘴唇開合，還會照顧到說話人說話時的面部表情和動態細節。哪怕原片裡有比較複雜的肢體動作或運動晃動，它也能較好地穩住人臉身份，不至於讓五官在配音後漂移成另一個人。

它是怎麼實現的

Just Dub It 本身並不是一個從零訓練的龐然大物，而是一個針對 LTX-2 音影片底模微調的輕量 LoRA 介面卡。

底座模型 LTX-2 原生就支援音影片聯合建模，本身生成速度快、體積相對小巧。Just Dub It 藉助 LoRA 凍結底座大部分能力，只專注於學習音影片聯合條件生成：輸入一段原始音影片，再給一句目標語言的提示詞，模型就能直接吐出對齊的語音和畫格。

專案要求搭配幾個標準組件一起執行。除了它自家的 LoRA 權重檔案外，還需要準備 LTX-2 19B 的基礎權重、蒸餾 LoRA、Gemma 3 文本編碼器，以及一個空間超解析度模組。

在解析度方面，輸入通常可以設為 512 乘 768，經過兩倍空間超分後，最終能匯出 1024 乘 1536 的高畫質成品影片，通常只需 30 步推理。

怎麼上手跑起來

整個專案目前已經完整放到 GitHub 和 Hugging Face 上，不僅放出了推理用的 pipeline，還給出了訓練指令碼和配套的多語言音影片資料集。

只要顯示卡算力合適，大多數主流消費級 GPU 都能跑起來。如果手頭視訊記憶體有限但系統記憶體足夠大，原作者提到在純 CPU 環境下也能執行推理，只是耗時會變長。

實際呼叫非常直接。專案支援命令列和 Python 介面，提示詞遵循固定的句式，比如註明說話人的身份、目標語言與口音，以及用引號括起來的具體臺詞。對於批次影片，你完全可以先用普通大語言模型把原臺詞翻譯好，再自動拼成提示詞餵給指令碼。

為什麼重要

我們認為 Just Dub It 最聰明的地方，在於它沒有重複造輪子去搭一套複雜的語音識別加人臉關鍵點貼圖流水線，而是精準借力了 LTX-2 這種自帶音訊能力的多模態底模，用一個輕量 LoRA 解決了過去最讓人頭疼的音畫不同步問題。

對於做跨國內容出海、外語教學或獨立遊戲本地化的創作者來說，它大幅降低了多語言高質量配音的門檻。過去這類效果往往被幾家商業閉源 API 壟斷，不僅成本高昂，還有內容審查和資料出境的顧慮；現在一套完全開源的方案擺在面前，開發者可以把它整合進自己的自動化工作流，甚至根據自己的垂直場景二次微調。

不過也要看到，這套方案目前依然依賴十幾 GB 的底模和文本編碼器，對於完全沒有技術背景的普通使用者來說，環境配置和視訊記憶體要求依然是一道坎。但作為開源音影片端到端聯合生成的代表，它指明瞭一個非常清晰的方向：未來的影片本地化，絕不再是生硬的音軌替換，而是視聽一體的自然重構。