OpenMOSSが「MOVA」をオープンソース公開：音声と動画を同時に生成する32B MoEモデル

MOVAは、OpenMOSSチームが公開した動画と音声を同時に生成できるオープンソースの基盤モデルです。

従来のAI動画制作では、映像を無音で書き出してから別ツールで効果音や音声を当てる手法が主流でしたが、これだと口元のズレや違和感が生じがちでした。MOVAは単一の推論パスで映像と音声をまとめて生成し、工程の分離によるズレを解消しています。

何ができるのか

MOVAの特徴は、高精度な多言語リップシンクと、環境音まで考慮した効果音生成にあります。

公開されたデモでは、室内での演説だけでなく、公園を歩きながら男性と子供が会話する複数人のシーンでも、部屋の反響音や足元の環境、口の動きが自然に連動しています。

音声同期のベンチマークテストではLTX2を上回るスコアを記録したとされています。Sora 2やVeo 3、Klingといった商用モデルがクローズド提供にとどまる中、MOVAはモデルの重みだけでなく推論コード、学習パイプライン、LoRA微調整スクリプトまで完全に公開しています。

アーキテクチャと動作環境

構造としては、事前学習済みの動画タワーと音声タワーを双方向クロスアテンションで結ぶ非対称デュアルタワー構成を採用しています。

モデル全体は320億パラメータのMoE（Mixture-of-Experts）構造ですが、推論時に活性化するのは180億パラメータです。

提供されているのは360pと720pの2種類です。ただし、720p版は約77GBと容量が非常に大きく、一般的なコンシューマー向けGPUでは単体動作が困難です。

ローカルで試すユーザーのためにCPUオフロード機能も用意されています。8秒の360p動画を生成する場合、グループ単位のオフロードを使えばRTX 4090（VRAM 12GB）でも動作しますが、ホスト側のメインメモリが約76.7GB必要となり、1ステップあたり約42秒かかります。H100環境ではVRAM 48GB消費で1ステップ約9秒です。

試し方

コードと手順はGitHubのOpenMOSS/MOVAリポジトリで確認でき、モデルの重みはHugging Faceから取得できます。

Python 3.13の環境を整えれば、単人や複数人の会話スクリプトを実行可能です。有志によるComfyUI拡張機能や、APIの提供も始まっています。

なぜ重要か

これまでオープンソースの動画生成モデルは無音のものが多く、音と映像が噛み合った生成は一部の大手サービスに限られていました。MOVAが学習コードやLoRA環境まで含めて公開したことで、研究者や映像制作チームが自前の環境で音響連動の動画生成を研究・改造できる道が開けました。

一方で、ハードウェアの壁は依然として厚いと言えます。720pを扱うにはデータセンター級のGPUがほぼ必須で、4090で360pを動かすにしても膨大なシステムメモリが要求されます。技術的な完成度は高いものの、個人が手軽に使うにはコミュニティによる軽量化や量子化の進展を待つ必要がありそうです。