物理法則に従う動画生成フレームワーク「MMPhysVideo」登場、コード公開予定

現在のAI動画モデルに「机から落ちるコップ」を生成させると、途中で形が溶けたり、ゼリーのように弾んだりすることが珍しくありません。映像の美しさは向上し続けているものの、物理的な相互作用になると途端に破綻してしまいます。

研究チームはこうしたピクセル予測任せの動画生成が引き起こす歪みや不自然さを解決する新フレームワーク「MMPhysVideo」を発表しました。コードとデータセットの完全公開も予告されています。

幾何構造と運動軌跡を1枚の画像として同時に学ぶ

従来の動画拡散モデルが物理法則に反した挙動を示すのは、次のフレームを純粋なピクセル再構成だけで予測しているためです。色の変化をなぞるだけでは、重力や慣性、物体の固さといった概念を理解できません。

MMPhysVideoのアプローチは、マルチモーダルな共同モデリングです。意味情報、3次元幾何学、物体の時空間軌跡といった知覚手がかりを「疑似RGB」形式に変換し、拡散モデルが視覚情報と物理ダイナミクスを同じ空間で直接学習できるようにしました。

物理信号とビジュアル生成の干渉を防ぐため、双方向制御を備えたTeacherアーキテクチャを採用しています。RGB処理と知覚処理を並列ブランチで完全に切り離し、ゼロ初期化された2本の制御リンクによってピクセル単位の整合性を段階的に獲得させます。

さらに実用性を高めているのが推論速度の維持です。Teacherモデルが獲得した物理的な事前知識を、表現アライメントによって単一ストリームのStudentモデルへ蒸留しました。これにより、推論時の追加コストを発生させずに破綻のない動画を生成できます。また、VLMを活用して物理対象を特定しアノテーションを自動生成するデータパイプライン「MMPhysPipe」も構築されました。

なぜ重要か

クリエイターやCG制作者にとって、AI動画の実用化を阻んできた最大の壁は「おかしな変形」でした。衝突や落下などの物理挙動が安定すれば、ガチャのように何度も生成をやり直す手間が大幅に減り、本格的な映像制作に導入しやすくなります。

業界全体にとっても、ピクセル学習と計算資源の力押しだけで物理世界を理解させようとする従来のアプローチに一石を投じる成果です。幾何や軌跡といった構造化情報を明示的に与え、それを知識蒸留で軽量化するほうが、圧倒的に効率的であることを示しています。

私たちが注目すべきだと考えるのは、推論負荷を増やさずに物理法則を埋め込んだ設計の巧みさです。流体や軟体の複雑な挙動にどこまで対応できるかはオープンソース公開後の検証を待つ必要がありますが、動画生成AIが「世界の仕組み」を理解するための現実的な一歩と言えます。