OpenMOSS 開源 MOVA：原生生成同步音影片，320 億引數 MoE 架構

MOVA 是 OpenMOSS 團隊開源的音影片一體化生成模型，能讓你用一段提示詞或單張參考圖，在一次推理裡直接生成帶同步聲音的影片。

以往做 AI 影片，通常得先用影片模型生成畫面，再拿另一個模型配音效或做口型對齊，中間難免出現聲音跟嘴型脫節的問題。MOVA 走的是原生雙模態生成路線，把畫面和音訊塞進同一個模型裡處理，不需要拼裝兩套工具。

它能做什麼

MOVA 支援多語言的精準唇形同步（Lip-Sync）以及與環境匹配的音效生成。

從官方放出的演示來看，無論是單人正襟危坐的演講，還是公園裡大人和小男孩邊走邊聊的多人對話場景，它都能較好地把語調、環境空間聲和嘴部動作對上。

在音訊同步基準測試中，MOVA 的表現甚至超過了 LTX2。更關鍵的是，團隊把模型權重、推理程式碼、訓練流程和 LoRA 微調指令碼全部放了出來，並沒有像 Sora 2、Veo 3 或 Kling 那樣做成閉源服務。

架構與硬體門檻

MOVA 內部採用非對稱雙塔架構，分別利用預訓練的影片和音訊模組，再通過雙向交叉注意力機制讓兩種模態互相感知。

模型本身基於混合專家結構（MoE），總引數量為 320 億，但在實際執行時只有 180 億引數處於啟用狀態，用來在質量和計算開銷之間做權衡。

團隊提供了 360p 和 720p 兩個版本。目前 720p 版本的體量很大，體積達到約 77 GB，消費級顯示卡很難直接跑動。

對於想用消費級顯示卡嚐鮮的開發者，倉庫支援 CPU 解除安裝（Offload）策略。在測試生成一段 8 秒的 360p 影片時，如果採用逐層解除安裝策略，單張 RTX 4090 顯示卡配合 12 GB 視訊記憶體和 76.7 GB 記憶體就能跑起來，單步耗時大約 42 秒；如果在 H100 上使用元件級解除安裝，視訊記憶體佔用 48 GB，單步耗時約 9 秒。

怎麼跑起來

如果你手頭有足夠的硬體，可以直接在 GitHub 上克隆 OpenMOSS/MOVA 倉庫，通過 Hugging Face 下載 360p 或 720p 的權重。

官方提供了完整的 Python 依賴說明和推理指令碼，支援單人與多人對話生成的示例。此外，社群也已經提供了 ComfyUI 外掛支援，第三方平臺還開放了 API 申請。

為什麼重要

過去開源社群裡的影片模型大多是啞巴影片，音畫同步的體驗基本被閉源大廠壟斷。MOVA 把整套模型權重和訓練、微調指令碼完全開放，讓個人開發者和影視創作者能真正把模型抓在自己手裡做二次開發。

不過，它的門檻仍然很高。720p 模型 77 GB 的龐大體積註定了它現在更適合有伺服器資源的團隊或深度玩家；普通創作者如果想用單張 RTX 4090 跑 360p，雖然視訊記憶體門檻能壓到 12 GB，但對主機記憶體要求高達近 80 GB，生成速度也偏慢。我們認為它是一次非常紮實的原生多模態開源探索，但要走向消費級普及，還需要社群進一步做量化和精簡。