RealWonder公開：静止画に外力を加え、物理的な動きを秒間13フレームでリアルタイム生成

RealWonder は、1 枚の静止画像に仮想の外力を加え、物体がどのように動くかをリアルタイムに動画化できるオープンソースの生成システムです。

従来の動画生成モデルは 3D 空間における力学法則の構造的な理解が乏しく、物体に力を加えた結果を正しく描くことが困難でした。RealWonder では、画面上で矢印をドラッグして力を指定するだけで、水流による漂いや風による布の揺れを即座にシミュレーションして映像化できます。

何ができるのか

ユーザーが 1 枚の写真を投入すれば、インタラクティブな物理実験の場に変わります。

水中の物体に対して特定方向の力を加えると、水流に乗って動く様子をリアルタイムに描写します。吊るされた衣服に風を当てれば布が自然になびき、左右から異なる力を同時に加えた場合の複雑な合力運動にも対応します。

対象は硬い剛体だけでなく、変形する布地、流体、砂利のような粒子材料まで幅広くカバーしています。さらに外力だけでなく、ロボットアームによる操作やカメラアングルの移動制御も行えます。

生成速度は単一の H200 GPU 環境において、480x832 解像度で秒間 13.2 フレームを達成しています。13 FPS という速度は、動画生成 AI としてリアルタイム対話が成立する実用水準に踏み込んだ数字です。

仕組みと動作要件

動画生成モデルに力学パラメータを直接学習させるのではなく、物理シミュレーションを中間ブリッジとして挟んだ点が RealWonder の大きな特徴です。

システムは「単一画像からの 3D 再構成」「物理シミュレータ」「蒸留済み動画生成モデル」の 3 つの要素で構成されています。入力された外力アクションをまず 3D 物理エンジンで計算し、オプティカルフローと RGB の視覚情報に変換してから動画モデルに渡します。

動画生成側は拡散ステップ数をわずか 4 ステップにまで蒸留しており、この極限の軽量化によって秒間 13 フレームの高速推論を実現しました。

ソースコードおよび学習済みモデルの重みは、プロジェクトサイトと GitHub リポジトリにてすべてオープンに公開されており、ローカル環境での導入手順も確認できます。

なぜ重要か

RealWonder の価値は、指示文から映像を作る「受け身の動画生成」を、物理法則が働く「対話型のシミュレータ」へと前進させた点にあります。

ロボットの身体性学習（エンボディド AI）や VR/AR 領域において、静止画 1 枚から即座に物理的な反作用を検証できる環境は大きな武器になります。関連分野の開発者にとっては、すぐに検証してみる価値のあるプロジェクトです。

一方で、実用的なフレームレートを出すには H200 クラスの計算基盤が求められるため、現時点での実行環境のハードルは高めです。それでも、物理シミュレータと 4 ステップ拡散モデルを組み合わせる設計手法は、今後のリアルタイム AI 動画の標準的なアプローチになる可能性を示しています。