3D幾何を潜在空間に直結する「GAE」公開、カメラ軌道誤差を半減

GAE（Geometry Native Autoencoder）は、カメラ移動に伴う破綻を抑えた3D世界を生成できるオープンソースの視覚生成フレームワークです。動画のピクセルを生成するだけでなく、深度マップ、カメラ軌道、3D点群モデルを同一の表現から同時に復元します。

従来の動画生成モデルは外見のピクセル情報のみを潜在空間で扱うため、カメラが動いた瞬間に空間の一貫性が崩れがちでした。GAEは幾何構造を潜在空間の内部に直接組み込むことで、生成プロセスそのものに3D空間の整合性を持たせています。

何ができるのか

GAEは屋内から屋外まで幅広い環境に対応し、一人称視点および三人称視点の両方で安定した空間一貫性を維持します。

1枚の参照画像と指定されたカメラ移動軌道を入力するだけで、解像度 672 x 378、計81フレームのRGB動画と空間幾何データを同時に出力可能です。動画再生と並行して、深度マップの変化や進行する3D再構成を確認できます。

動画だけでなくテキストからの画像生成にも対応しています。プロンプトを入力すると、単一の潜在表現からRGB画像、深度マップ、そして操作可能な3D点群データを一括でデコードします。

ベンチマークテストでは、生成器や訓練条件を同一にした比較において、潜在空間をGAEに置き換えるだけでRealEstate10Kにおけるカメラ軌道誤差が半減しました。さらに動画品質を示すFVD値も、RealEstate10Kで12.7パーセント、DL3DVで23.1パーセント改善しています。

どのような仕組みか

GAEは、固定された幾何基底モデルから得られる3072チャンネルの膨大な幾何特徴量を、拡散処理に適した128チャンネルのコンパクトな状態へと圧縮します。

モデル構成としては、コンパクトさと軌道の一貫性を重視したGAE-64と、高品質な再構成と視点間対応を保持するGAE-128の2つの動作ポイントが用意されています。

生成時にはフローマッチングを用いてこの幾何潜在空間内で直接サンプリングを行います。潜在状態自体に空間構造が保持されているため、出力ヘッドがRGB外見、深度、カメラ姿勢、点群へと一気にデコードできます。

Stable Diffusion VAEやWan2.1ビデオVAE、RAEv2など既存の潜在表現との直接比較においても、GAEは外見の美しさと3D整合性の両面で優れた結果を示しています。

動作環境と公開状況

GAEはモデル重みを含めてすでに完全公開されています。重み全体のサイズは12GB未満に収まっており、中弾クラスの民生用GPUがあればローカル環境で動かすことができます。

プロジェクトサイトでは論文PDFのほか、ローカルでの実行手順、学習コード、評価スクリプトがすべて揃ったリポジトリが案内されています。

ローカルで3D動画生成を試してみたい開発者は、公開ページからコードとモデルを入手してすぐに動作確認が可能です。

なぜ重要か

ゲーム開発の背景制作やロボティクス、空間コンピューティングに携わるエンジニアにとって、GAEは今すぐ試す価値があるツールです。これまで複数のモデルを多段に繋いで行っていた3D整合動画の生成が、12GB未満の単一モデルとして家庭用GPUで完結するようになった意義は小さくありません。

外見の画質向上だけにパラメータを費やすのではなく、潜在空間の表現そのものを幾何ネイティブへと再定義したアプローチは極めて合理的だと考えます。知覚モデルの空間把握力と生成モデルの表現力を繋ぐ共通インターフェースとして、今後の世界モデル開発における有力な設計基準になりそうです。