阿里开源 Fun-CineForge：让 AI 配音对齐唇形与多角色

Fun-CineForge 是阿里通义实验室开源的影视级多模态配音模型。只要给它一段视频和对应的台词文本，它就能直接生成与角色唇形同步、情绪匹配的配音。

它不是那种生硬把字念成声音的普通 TTS。以往给视频配音，AI 往往不知道画面里谁在说话，节奏卡不上，多人插话更是容易乱成一团。Fun-CineForge 专门处理这些复杂镜头，能识别画面里的不同角色，并在多角色之间自然切换声线，就像专业配音演员在分饰多角。

怎么做到精准音画对齐

该模型基于通义的 CosyVoice3 构建，核心机制是同时融合了视觉、文本、音频和时间四类信息。

最聪明的改动在于把「时间」当成一个独立的模态引进来。模型不仅学习画面里的唇部运动和面部表情，还会把毫秒级时间戳、持续时长和说话人身份作为强监督信号。

有了这种时间感，AI 就能明确知道「谁在什么时候该开口」。即使画面里镜头突然切换、角色转过头去或者脸部被道具遮挡，它也不会把台词念错时间，依然能在精确的片段里把语音卡到位。

在音色和情绪上，它支持基于参考音频的个性化音色克隆，还能根据面部神态或提示词调整语气质感。项目在覆盖 350 多部影视剧的数据集流程上训练，官方测试的中文字错率低至 1.49%。

怎么跑起来和开放程度

Fun-CineForge 支持独白、旁白、双人对话以及多人抢话等复杂电影场景。影视解说、短视频剪辑、海外译制配音或者游戏动画开发，都可以拿它来降低后期成本。

阿里的开放程度很彻底，代码已经放在 GitHub 的 FunAudioLLM/FunCineForge 仓库，模型权重同步上线了 Hugging Face，配套的 CineDub 数据集自动化构建流程也一并放了出来。如果你想先看看样片效果，可以直接去它的 GitHub Pages 项目官网试看 demo。

为什么重要

以前做视频自动配音，最折磨人的不是声音不像，而是音画对不上。剪辑师往往要花几个小时逐帧剪切波形、手动加速减速来凑口型。Fun-CineForge 把时间模态和视觉直接焊死在生成环节，算是在开源领域把影视配音带到了真正可用的分水岭。

我们认为，独立创作者、出海译制团队和游戏独立团队现在就可以直接去拉代码测试。虽然复杂长片仍然需要前期切镜和文本精校的配合，但省掉逐帧对口型的人工，效率就已经高出几个数量级了。