Runway、対話型世界モデル「GWM Worlds 2」発表　720p/24fpsでリアルタイム生成

従来のAI動画生成は、プロンプトを入力して数十秒待ち、完成した数秒間の動画をただ眺めるという一方通行な体験が基本でした。

Runwayが9月3日に発表した「GWM Worlds 2」は、その常識を覆すリアルタイム世界モデルです。720p解像度、24fpsの映像と48,000Hzの音声を途切れることなく生成し、ユーザーがリアルタイムに操作できる対話型シミュレーションへと進化させました。

最大の特徴は、生成時間に固定の上限がない点です。操作を続ける限り、世界は無限に広がり続けます。

ゲームのようにキーボードで世界を動かす

2024年12月に公開された初期のGWM Worldsをベースに、本作では「WorldPrompt」と呼ばれる新しい入力形式が導入されました。

この仕組みでは、世界を「持続する要素」と「時間で変化する要素」の2つに分解します。最初の1フレーム画像と環境や重力、衝突ルールを定義する「創世プロンプト」を用意し、そこに時系列のアクションとカメラ操作のストリームを重ね合わせます。

操作感は市販の3Dゲームに極めて近いです。一人称または三人称視点で自由に歩き回ったり車を運転したりでき、カメラ視点とキャラクターの動作は個別に制御可能です。

プレイ中に毎回プロンプトを手入力するのは間に合わないため、デモではキーボード入力にプロンプトが割り当てられています。たとえばWキーで「前進」、クリックで「ボールを投げる」といった具合です。家具のランプをつけて色を変えたり、舞台を火の海にするといった環境変化も起こせます。さらにNPCとの会話では、声色や言語、台詞に合わせた正確なリップシンクまで同期して生成されます。

LiveKitを用いたマルチプレイヤー機能も備わっており、複数の参加者が別々のキャラクターを操作したり、1人が監督役として天候や照明を操ることも可能です。

自帰向拡散モデルによる無限生成

内部構造としては、映像と音声を同時に処理する自己回帰型の拡散モデルを採用しています。従来の双方向モデルは高品質なもののリアルタイム性に欠けるため、Runwayは事後学習によって高速な自己回帰モデルへと再構築しました。

生成時には、最初のフレームと設定プロンプトという大域的な情報に加え、現在の入力情報とスライディングウィンドウ内に保持された直前のフレームを参照しながら次の瞬間を計算します。古いフレームは順次破棄されるため、長時間のセッションでも破綻せずに処理が追いつきます。

ただし、本作はあくまでリサーチプレビューの位置づけです。リアルタイム性を重視した結果、画質とのトレードオフが発生しており、カメラを素早く急回転させるとテクスチャや幾何構造に歪みが生じます。また長期記憶の維持もまだ課題があり、一般向けの自由な利用はまだ先で、現在は問い合わせフォーム経由の提供となっています。

なぜ重要か

決まった尺の動画を書き出すツールから、ユーザーの入力に即座に応答する動的なシミュレータへの転換は、生成AIの進化における極めて大きな節目です。

ゲーム制作者やクリエイターにとって、従来の3Dモデリングやゲームエンジンに頼らず、プロンプトとキー入力だけでインタラクティブな環境を構築できる可能性が開かれました。急速な視点移動時のグラフィック低下など実用上の粗さは残るものの、コンセプト検証やインタラクティブ映像の試作には十分なインパクトがあります。また、ロボットや自律型AIエージェントの訓練環境としても低コストで強力なシミュレータになり得ます。

私たちは、Runwayがオフラインの画質競争から一歩踏み出し、遅延の少なさと操作性に焦点を当てた判断を高く評価しています。キー割り当てによって入力の手間を省いた実装も非常に現実的です。

動画生成が「見るもの」から「遊ぶもの」へと変貌する未来は、私たちが想像するよりも早く現実になりつつあります。