Just Dub It：把视频配音成外语，口型也能自动对上

Just Dub It 是一个开源的视频自动配音与口型同步工具。它的核心用途很明确：给你一段原本说某种语言的视频，它能把它配音成法语、德语、葡萄牙语等外语，同时重新生成匹配的嘴唇动作，让画面看起来就像说话人天生就在讲那门新语言。

项目团队将代码、模型权重以及训练数据集完整开源。如果你平时需要做跨语言视频本地化，或者在找能够本地运行的音视频同步方案，这个项目值得立刻拉下来看看。

它能做什么

传统的视频翻译通常分好几步，先做语音识别、文字翻译，再找文字转语音生成音频，最后拿额外的口型工具强行去贴嘴型。这种拼装方案往往动作僵硬，说话时的面部肌肉和光影也很容易穿帮。

Just Dub It 走的是联合生成的路子。它能在一套扩散生成流程里，同时生成翻译后的语音和嘴唇运动。官方演示里展示了多个片段，一段原本讲英语的洗澡独白，被无缝转换成了法语、德语和葡萄牙语，口型变换自然，原本的人物长相特征也没有变形。

在生成效果上，它不仅管嘴唇开合，还会照顾到说话人说话时的面部表情和动态细节。哪怕原片里有比较复杂的肢体动作或运动晃动，它也能较好地稳住人脸身份，不至于让五官在配音后漂移成另一个人。

它是怎么实现的

Just Dub It 本身并不是一个从零训练的庞然大物，而是一个针对 LTX-2 音视频底模微调的轻量 LoRA 适配器。

底座模型 LTX-2 原生就支持音视频联合建模，本身生成速度快、体积相对小巧。Just Dub It 借助 LoRA 冻结底座大部分能力，只专注于学习音视频联合条件生成：输入一段原始音视频，再给一句目标语言的提示词，模型就能直接吐出对齐的语音和画格。

项目要求搭配几个标准组件一起运行。除了它自家的 LoRA 权重文件外，还需要准备 LTX-2 19B 的基础权重、蒸馏 LoRA、Gemma 3 文本编码器，以及一个空间超分辨率模块。

在分辨率方面，输入通常可以设为 512 乘 768，经过两倍空间超分后，最终能导出 1024 乘 1536 的高清成品视频，通常只需 30 步推理。

怎么上手跑起来

整个项目目前已经完整放到 GitHub 和 Hugging Face 上，不仅放出了推理用的 pipeline，还给出了训练脚本和配套的多语言音视频数据集。

只要显卡算力合适，大多数主流消费级 GPU 都能跑起来。如果手头显存有限但系统内存足够大，原作者提到在纯 CPU 环境下也能执行推理，只是耗时会变长。

实际调用非常直接。项目支持命令行和 Python 接口，提示词遵循固定的句式，比如注明说话人的身份、目标语言与口音，以及用引号括起来的具体台词。对于批量视频，你完全可以先用普通大语言模型把原台词翻译好，再自动拼成提示词喂给脚本。

为什么重要

我们认为 Just Dub It 最聪明的地方，在于它没有重复造轮子去搭一套复杂的语音识别加人脸关键点贴图流水线，而是精准借力了 LTX-2 这种自带音频能力的多模态底模，用一个轻量 LoRA 解决了过去最让人头疼的音画不同步问题。

对于做跨国内容出海、外语教学或独立游戏本地化的创作者来说，它大幅降低了多语言高质量配音的门槛。过去这类效果往往被几家商业闭源 API 垄断，不仅成本高昂，还有内容审查和数据出境的顾虑；现在一套完全开源的方案摆在面前，开发者可以把它集成进自己的自动化工作流，甚至根据自己的垂直场景二次微调。

不过也要看到，这套方案目前依然依赖十几 GB 的底模和文本编码器，对于完全没有技术背景的普通用户来说，环境配置和显存要求依然是一道坎。但作为开源音视频端到端联合生成的代表，它指明了一个非常清晰的方向：未来的视频本地化，绝不再是生硬的音轨替换，而是视听一体的自然重构。