Overworld、キーボードとマウスで操作できるリアルタイム世界モデル「Waypoint-1」をオープンソース公開

Waypoint-1は、Overworldがオープンソースで公開したリアルタイム対話型動画拡散モデルです。キーボードとマウスを使って、AIがその場で生成する仮想空間の中をゲーム感覚で自由に探索できます。

既存の多くの世界モデルは、汎用の動画生成モデルに大雑把な操作指示を付け足したものが多く、数フレームごとにしか視点を動かせなかったり、深刻な操作遅延が発生したりしていました。対してWaypoint-1は、最初からリアルタイム操作を前提に設計されており、遅延をほぼ感じさせない自由なキーボード・マウス操作を実現しています。

何ができるのか、どう動いているのか

テキストプロンプト（サイバーパンクな街並みや谷間の風景など）と初期フレームを与えるだけで、ユーザーの入力に応じてリアルタイムに次の映像が逐次生成されます。モデルはプレイヤーの操作を文脈情報として受け取り、フレームを1枚ずつ連続して描き出していきます。

バックボーンには、圧縮された潜在空間で動作する因果的レクティファイド・フロー・トランスフォーマーを採用。操作ログやキャプションと紐付けられた1万時間以上のゲームプレイ動画を用いて学習されています。

学習にはDiffusion Forcingが用いられ、過去フレームを基に未来の各フレームを個別にノイズ除去する手法を取り入れました。さらに、推論時の誤差蓄積を防ぐため、DMDを用いたSelf-Forcingによる事後学習を実施。これにより、わずかなステップ数と1パスのCFGで高速に高品質なフレームを生成できるようになりました。

RTX 5090で60FPSを達成、導入方法

Overworldは同時に、リアルタイム配信に特化したPython製推論ライブラリ「WorldEngine」も公開しました。コンシューマー向けのRTX 5090グラフィックボード上で2.3Bパラメータの「Waypoint-1-Small」を動かした場合、毎秒約3万トークンパスを処理可能。4ステップ処理で30 FPS、2ステップ処理なら60 FPSという滑らかな動作を叩き出します。

この高速化は、AdaLN特徴量のキャッシュ、Flex Attentionを組み合わせた静的ローリングKVキャッシュ、行列積の融合、そしてtorch.compileによるグラフ最適化という4つのチューニングによって支えられています。

モデルの重み（ファイルサイズ約25.2GB）はHugging Face上で公開されており、ローカル環境ですぐに試せます。さらに大きなMediumモデルも今後登場予定です。環境がない場合でも、overworld.streamにてブラウザ上ですぐに体験できます。

ただし、現段階での解像度はそれほど高くなく、長く探索を続けると空間の一貫性が崩れたり、歪みや幻覚が生じやすい点は留意が必要です。

なぜ重要か

Waypoint-1が画期的なのは、映像の綺麗さよりも「対話型動画生成における遅延の壁」を実用レベルで突破した点にあります。市販のGPU1枚で60 FPSのリアルタイム生成を成立させたことは、AIによるプレイアブルな世界生成が決して遠い未来の巨大サーバー専用技術ではないことを示しました。

ゲーム開発者やインタラクティブ映像の制作者なら、今すぐ動かしてみて損はありません。一貫性や画質の粗さといった課題はまだ残るものの、入力と映像を初期学習段階から密結合させるこのアプローチは、今後の自律的世界生成に向けた確かな土台になるはずです。