阿里開源 Fun-CineForge：讓 AI 配音對齊唇形與多角色

Fun-CineForge 是阿里通義實驗室開源的影視級多模態配音模型。只要給它一段影片和對應的臺詞文本，它就能直接生成與角色唇形同步、情緒匹配的配音。

它不是那種生硬把字念成聲音的普通 TTS。以往給影片配音，AI 往往不知道畫面裡誰在說話，節奏卡不上，多人插話更是容易亂成一團。Fun-CineForge 專門處理這些複雜鏡頭，能識別畫面裡的不同角色，並在多角色之間自然切換聲線，就像專業配音演員在分飾多角。

怎麼做到精準音畫對齊

該模型基於通義的 CosyVoice3 構建，核心機制是同時融合了視覺、文本、音訊和時間四類資訊。

最聰明的改動在於把「時間」當成一個獨立的模態引進來。模型不僅學習畫面裡的唇部運動和麵部表情，還會把毫秒級時間戳、持續時長和說話人身份作為強監督訊號。

有了這種時間感，AI 就能明確知道「誰在什麼時候該開口」。即使畫面裡鏡頭突然切換、角色轉過頭去或者臉部被道具遮擋，它也不會把臺詞唸錯時間，依然能在精確的片段裡把語音卡到位。

在音色和情緒上，它支援基於參考音訊的個性化音色克隆，還能根據面部神態或提示詞調整語氣質感。專案在覆蓋 350 多部影視劇的資料集流程上訓練，官方測試的中文字錯率低至 1.49%。

怎麼跑起來和開放程度

Fun-CineForge 支援獨白、旁白、雙人對話以及多人搶話等複雜電影場景。影視解說、短影片剪輯、海外譯製配音或者遊戲動畫開發，都可以拿它來降低後期成本。

阿里的開放程度很徹底，程式碼已經放在 GitHub 的 FunAudioLLM/FunCineForge 倉庫，模型權重同步上線了 Hugging Face，配套的 CineDub 資料集自動化構建流程也一併放了出來。如果你想先看看樣片效果，可以直接去它的 GitHub Pages 專案官網試看 demo。

為什麼重要

以前做影片自動配音，最折磨人的不是聲音不像，而是音畫對不上。剪輯師往往要花幾個小時逐幀剪下波形、手動加速減速來湊口型。Fun-CineForge 把時間模態和視覺直接焊死在生成環節，算是在開源領域把影視配音帶到了真正可用的分水嶺。

我們認為，獨立創作者、出海譯製團隊和遊戲獨立團隊現在就可以直接去拉程式碼測試。雖然複雜長片仍然需要前期切鏡和文本精校的配合，但省掉逐幀對口型的人工，效率就已經高出幾個數量級了。