AdobeとJHU、動画世界モデル「Wonder」発表 画像からリアルタイムに探索空間を生成
Adobeとジョンズ・ホプキンス大学はリアルタイム動画世界モデル「Wonder」を発表した。画像や動画から16 FPSで操作可能な空間を生成し、自由なカメラ操作で探索できる。新領域を回って元の場所に戻っても景観が維持され、1分以上の一貫性を保てるのが特徴だ。
静止画を1枚読み込ませ、キーボードの「W」キーを押すだけで、一人称視点ゲームのようにその画像の中へ歩き出せる。街角を曲がって新しい景色を探索し、再び引き返してきても、最初に見えていた建物や看板がそのまま同じ位置に残っている。
これは3Dエンジンで作られたゲーム空間ではなく、AIがリアルタイムに生成し続けている動画の世界だ。Adobeとジョンズ・ホプキンス大学(JHU)の研究チームは2026年7月28日、リアルタイム操作に対応した動画世界モデル「Wonder」を発表した。
ユーザーは画像1枚、あるいは既存の動画を入力するだけで、毎秒16フレーム(16 FPS)、わずか0.5秒の固定レイテンシで空間内を探索できる。6自由度(6-DOF)のカメラ操作に対応し、1分以上自由に歩き回っても空間の幾何構造や整合性が崩れにくい設計となっている。
カメラ制御と記憶の壁をどう突破したか
2026年はGoogleの「Genie 3」をはじめとする世界モデルの開発競争が激化している。だが従来のモデルには、カメラ操作に忠実に従わない点や、視界から外れた領域の配置をAIがすぐに忘れてしまうという難題があった。
これまでの手法では、カメラの位置や角度を数値データとしてモデルに入力していたが、AIがその数値を視覚的な遠近感と正確に結びつけるのは困難だった。そこでWonderは、密な座標場(Dense Coordinate Field)を構築し、カメラの動きを画面と直接重なり合う視覚的な手がかりとしてレンダリングする方式を導入した。AIに数値を読ませるのではなく、カメラの視点移動を「映像」として見せている格好だ。
もう一つのブレークスルーが長時間の記憶保持だ。従来モデルは元の場所に戻ると風景が別物に変化してしまうことが多かった。Wonderは生成過程のキー・バリュー(KV)キャッシュを保持しつつ、効率的なスパースアテンションを用いて必要な過去情報だけをピンポイントで検索する。これにより、探索範囲がどれだけ広がっても推論負荷が増大せず、0.5秒という極めて低い遅延を一定に保つことに成功した。
リアルタイム性を確保するための蒸留プロセスにおいても、制御性や多様性が損なわれないよう、複数の生徒モデルを組み合わせるMixture-of-Students技術などを投入して教師モデルの能力を維持している。
既存動画の「カメラ再配置」も可能に
Wonderのユニークな点は、静止画からの生成だけでなく、既存の動画をベースにした再撮影(V2V)が可能な点だ。
公開されたデモでは、格闘シーンの動画を取り込み、元のキャラクターの動きを維持したまま、キーボード操作でカメラを回り込ませて別のアングルからリアルタイムにシーンを眺める様子が示された。これまでの動画編集とは異なり、2次元映像の内部に入り込んでカメラマンとして動き回るような体験ができる。
ただし、生成品質には依然として課題が残る。アニメ調や実写風など幅広いスタイルに対応しているものの、画面の端にはノイズや歪みが見られ、激しい視点移動時には細部がちらつく場面もある。
また、プロジェクトページにはコードやモデルの公開予定が掲示されているものの、コミュニティからは「Adobeはこれまで基礎モデルの一般公開に慎重だったため、本当にモデルがオープンになるのか注視したい」といった慎重な声も上がっている。
なぜ重要か
従来の動画生成AIは、あらかじめ決められたプロンプトから短いビデオクリップを出力する「一方通行の鑑賞物」にとどまっていた。これに対してWonderは、ユーザーの入力に応じてリアルタイムに応答する「操作可能な空間」を作り出している。
映像制作やゲーム開発の現場において、この技術はプリビジュアライゼーション(事前視覚化)のあり方を劇的に変える可能性がある。コンセプトアートやラフ動画さえあれば、3Dモデルを何日もかけて組むことなく、監督やプランナーがインタラクティブにカメラアングルを試行錯誤できるようになるからだ。ロボットのナビゲーション訓練環境としても有用だろう。
技術的アプローチとしても、カメラ制御を視覚信号化し、スパース検索で記憶容量問題を切り離した点は極めて実用的だ。最高画質を競うオフライン生成から、操作性と即時性を優先する実用志向へのシフトを象徴している。
課題は提供形態と推論コストにあると考える。もしAdobeが自社のクローズドなツール内に機能を閉じ込めてしまえば、インディーズ開発者や研究者への波及には時間がかかるだろう。だが、動画生成モデルが「見るもの」から「歩き回る場所」へと進化する流れは、もはや後戻りできない段階に入りつつある。
情報源 (2)
- arxiv.org(新しいタブで開きます)原文arxiv.org
- youtube.com(新しいタブで開きます)報道youtube.com