テンセント、世界モデル「WorldCrafter」発表　視点を戻しても破綻しない3D記憶機構

オープンワールドゲームを遊んでいて、振り返った瞬間にさっきまであった建物が別の形に化けていたら興奮も冷めてしまいます。

しかし、これまでのAI動画生成モデルにとって、視界の外にある空間を記憶し続けることは極めて難しい課題でした。カメラを少し横へ振るだけで背後の情報は消え去り、もう一度戻したときには窓の位置が変わり、壁が溶けてしまうのが日常茶飯事だったわけです。

テンセントの研究チームが公開した「WorldCrafter」は、まさにこの空間的な物忘れを解消するために作られたインタラクティブ世界モデルです。

視点を戻しても壊れない世界

WorldCrafterは、1つのテキストプロンプトや1枚の静止画を出発点にして、カメラ操作で探索できる仮想環境を生成します。静止した街並みだけでなく動的なシーンにも対応し、数分間に及ぶカメラワークでも破綻しません。

移動する被写体が一度画面外に消え、後から再びフレームインしてくるような場面でも、同一の存在として整合性を保ち続けます。

空間の正しさを検証するため、研究チームは生成された動画から3D点群とカメラ軌跡を逆算して復元しました。その結果、視点を何度行き来させてもシーンの幾何学構造が正確に維持されていることが実証されています。

145種類のシーンと725パターンのカメラ軌跡を用いたベンチマークテストにおいて、WorldCrafterは長期間の再訪時の一貫性やカメラ制御の精度でベースラインを大きく上回り、総合VBenchスコアで首位を獲得しました。

暗黙的な3D知覚メモリの仕組み

この安定性を支えているのが「暗黙的3D知覚メモリ」というアプローチです。

従来の技術は、明示的な深度推定や幾何学的な画像ワーピングに頼るケースが多く、計算コストがかさむ上に歪みやノイズが発生しやすい弱点がありました。

WorldCrafterはそうした重い処理を避け、カメラ姿勢に応じた読み出しモジュールとメモリエンコーダを連携させています。ユーザーがカメラを向けた方向に応じて過去の視点情報から必要な記憶トークンを取り出し、動画生成器に直接渡す仕組みです。

プロジェクトのコードや手順はすでに公開されており、ベースモデルに加えて数ステップで推論できる蒸留版の高速モデルも用意されています。後者を使えばリアルタイムのストリーミング対話も可能ですが、全コンポーネントを揃えるには約147GBものストレージ容量が必要です。

なぜ重要か

従来の重厚な3Dグラフィックス手法をそのまま持ち込むのではなく、拡散モデルの内部に「空間メモリ」を埋め込む手法をとった点が非常に巧妙だと考えます。

ゲーム制作者やバーチャルプロダクションの現場にとって、プロンプトひとつで探索可能な3D空間を即座に生成し、自由に歩き回れる未来に大きく近づいたと言えます。振り返っても世界が崩壊しないという体験は、実用的なインタラクションの絶対条件だからです。

もっとも、全コンポーネントで147GBに達するデータサイズや要求スペックの高さを考えると、一般ユーザーが手元のPCで気軽に動かせる段階ではありません。

それでも、動画世界モデルの競争軸を「単なる映像の綺麗さ」から「視点を変えても裏切らない空間の一貫性」へと引き上げた意義は大きく、今後のインタラクティブAI開発の標準を塗り替える一歩になりそうです。