1枚の画像から歩き回れる3D動画を作る「AnchorWeave」がコード公開

ゲームの中で後ろを振り返ってから元の向きに戻っても、そこにあるはずの家具は消えません。しかし現在の多くの動画生成AIでは、視線を少し外しただけで元の景色を忘れ、別の空間を描き直してしまいます。

2月16日にオープンソース公開された「AnchorWeave」は、この動画生成における記憶喪失問題に挑むフレームワークです。1枚の静止画を入力するだけで、キーボードの操作に従って自由に歩き回れる3D空間動画を生成できます。

全体を作るのではなく、小さな記憶を編み合わせる

カメラワークを自在に操れる動画を作ろうとする従来の手法は、背後でシーン全体の3D形状を一括再構築しようとしがちでした。しかし、わずかなカメラ位置のズレや深度推定の狂いが積み重なると、ノイズだらけの幾何情報が生成画面そのものを破綻させてしまいます。

AnchorWeaveが採用したのは「局所幾何メモリ」という巧みなアプローチです。空間全体を無理に1枚の巨大な3Dモデルとして保持せず、小さく綺麗な局所パーツに分解して保持します。

移動軌跡に応じて必要な局所メモリを取り出し、「マルチアンカー編み込みコントローラー」が視点間の矛盾を調整しながら映像へ縫い合わせます。これにより、視線をどれだけ動かしても物体の位置や空間構造が崩れません。

キーボード操作で移動、1回で81フレームを生成

操作は直感的です。基準となる静止画を1枚読み込ませれば、PCゲームでおなじみのWASDキーや矢印キーを使って、見たい方向へカメラを進められます。

1回の反復処理で生成されるのは最大81フレーム、時間にして数秒程度です。ただし、一度記録された局所メモリが空間を固定しているため、複数回反復させることで長い移動動画へと繋げていけます。

主観視点（一人称）での移動だけでなく、空間内をキャラクターが動く三人称視点にも対応しており、背景とキャラクターの整合性を保った動画を出力可能です。

コードとローカル実行手順はGitHubで公開されており、論文もarXivで確認できます。初期バージョンは動画生成モデルCogVideoXをベースに構築されており、今後はより強力なモデルを土台に画質を底上げする計画です。

なぜ重要か

インタラクティブな「世界モデル」は、次世代のゲームエンジンやロボット訓練の基盤として期待されていますが、空間の一貫性の維持が最大の壁でした。振り向くたびに地形が変わるようでは、インタラクションが成立しません。

AnchorWeaveの優れた点は、完璧な3D全体モデルを求めるのではなく、局所的な記憶の検索と合成に問題を落とし込んだ判断にあります。生成AI特有の曖昧さを許容しつつ、破綻を防ぐ現実的な解法です。

インディーゲームの開発者や背景アーティストにとって、1枚のコンセプトアートからその場を歩き回れるプレビュー動画を作れる価値は小さくありません。3Dモデリングソフトでイチから仮組みする手間を大幅に減らせます。

もちろん、ベースがCogVideoXであるため描画の質感にはまだ荒さがあり、81フレームごとの処理という制約もあります。それでも、生成動画が確かな空間の永続性を獲得するための道筋をはっきりと示した意義は大きいです。