「Monarch RT」公開、単体RTX 5090で16fpsのリアルタイム動画生成を実現

これまでAIによる動画生成といえば、クラウドサーバーのキューを待つか、プログレスバーを眺めながら待機するのが当たり前でした。手元のPCでリアルタイムに映像を生成するなど、大企業のデータセンターでもない限り現実的ではありませんでした。

動画生成の高速化アーキテクチャ「Monarch RT」が公開され、その常識が一気に覆されました。コンシューマー向けの単体GPUであるRTX 5090上で、毎秒16フレーム（16 FPS）という実用的なリアルタイム生成を達成しています。

すでにGitHub上で完全なコードとローカル実行手順が公開されており、開発者がすぐに手元で試せる状態です。

3Dアテンションの計算爆発を解く仕組み

動画生成向けのDiffusion Transformerにおける最大の課題は、時空間の3D自己アテンションにかかる膨大な計算コストです。特にステップ数が少なく自己回帰的なリアルタイム処理では、生成ステップごとに大きな情報量を抱えるため、従来の疎（スパース）アテンション手法では誤差が蓄積して破綻しがちでした。

研究チームは動画のアテンション特性を分析し、時空間の位置関係に基づく強い周期性と動的な意味情報が組み合わさっている点に着目しました。

そこでMonarch行列を用いてアテンションを構造的に因数分解する手法を開発。タイル状のパラメータ設計と専用のTritonカーネルを組み合わせることで、最大95%のアテンション疎性を実現しました。

FlashAttention比で約4倍高速、画質劣化はわずか

最先端の動画生成モデル「Self-Forcing」と組み合わせたテストでは、単体RTX 5090で目標の16 FPSをクリアしました。

アテンション処理の速度は従来のFlashAttentionに比べて約4倍に達しています。論文によると、RTX 5090、H100、B200上でFlashAttention-2、3、4と比較した場合、カーネル単体で1.4倍から11.8倍の高速化が確認されました。

高速化に伴う画質低下も最小限です。同一プロンプトでの比較において、全要素を密に計算するフル画質の約95%の品質を維持しており、見た目上の差異はほとんど気にならないレベルに収まっています。

なぜ重要か

私たちは、Monarch RTが「リアルタイム動画AI」をデータセンターの専用品から開発者の日常ツールへと引き下ろした点に大きな価値があると考えています。

RTX 5090は依然として高価なフラッグシップGPUですが、何千万円もするクラスタを借り続けることに比べれば、個人や中小スタジオでも十分に現実的な選択肢です。

アプローチとしても非常にスマートです。単純にトークンを間引いて画質崩壊を起こすのではなく、Monarch行列という厳密な数学的構造を活かして計算量を削減したことで、95%という高水準の画質をキープできました。

業界全体にとっても、ローカルでの16 FPS達成は、インタラクティブ動画やゲームの動的レンダリング、ライブ配信エフェクトといった応用の現実味を一気に引き上げました。今後はこの手法がミドルレンジのGPUへとどこまでスケールダウンできるかが次の焦点になりそうです。