復旦大とテンセント、音動画同時生成モデル「Prism」をオープンソース化

Prismは、復旦大学、テンセント混元、浙江大学の研究チームが共同でオープンソース化した音動画生成フレームワークです。映像と音声を別々に処理するのではなく、ネイティブな2K解像度で両者を完全同期させながら同時に生成することを目指して開発されました。

従来の生成モデルで2Kという超高解像度をネイティブに扱おうとすると、全アテンション機構の計算量が二乗で跳ね上がり、GPUメモリが逼迫します。さらに音声トークンまで同時に学習させようとすると、動きのない背景や無音の領域にまで膨大な計算リソースが分散し、生成結果の細部がぼやけてしまう問題がありました。

動的スパースアテンションで要点に計算を集中

この課題に対し、Prismは動的スパースアテンションと呼ばれる仕組みを導入しました。画面全体に均等に計算パワーを配分するのをやめ、動きと発音の要点に絞り込むアプローチです。

Prismはトークン列を時空間のマクロゾーンに分割し、映像特徴のチャンネル方向の分散と、音声から映像へのクロスアテンションのノルムを監視します。これにより、画面のどの部分が激しく動いているか、どの領域が現在発生している音と強く連動しているかをリアルタイムに推定します。

得られた情報に基づいてゾーンごとにブロックの形状を動的に決定し、動きと音声の相関が高い領域にだけきめ細かい計算を割り当てます。このアプローチにより、従来の全アテンションと比べて学習速度を約2.5倍に引き上げ、より鮮明な画質と緊密な音動画の同期を両立させました。

動作要件と利用方法

Prismのコード、データ前処理スクリプト、およびプレビュー版の重みはHugging FaceのFrancisRing/Prismリポジトリで公開されています。公開された重みにはpreview_alphaとpreview_betaの2種類があり、MOVA-360pをベースモデルとして使用します。

テキストからの生成だけでなく、参照画像を用いたImage-to-Videoにも対応しており、プロンプト内では音楽や効果音、音声といった構造化タグを使った細かな指定が可能です。

ただし、ネイティブ2Kを扱うため要求スペックは高めです。環境にはPython 3.10以上、CUDA 12.4、FlashAttentionが必要です。720pの推論であればCPUオフロードとDeepSpeedを組み合わせることで80GBのVRAMを搭載した単一GPUで動作しますが、1080pや2Kの生成にはFSDPを用いた複数GPU構成が推奨されます。2K生成時にはメモリ不足を防ぐためのVAEタイリング機能も用意されています。

なぜ重要か

映像を生成したあとに後付けで効果音をつける従来のワークフローに対し、Prismはネイティブな音動画の同時生成が現実的な計算コストで実現可能であることを示しました。動的なスパース化によって、解像度向上に伴う計算爆発を実用的なラインまで抑え込んだ設計は非常に合理的です。

一方で、最低でも80GBクラスのGPUを要求する足回りの重さは、個人クリエイターにとって依然として高いハードルです。現時点では大規模な計算資源を持つ研究チームや制作スタジオ向けの基盤技術であり、一般ユーザーが恩恵を受けるには今後の軽量化や蒸留モデルの登場を待つ必要があります。