GAE 開源：把 3D 幾何塞進潛空間，相機軌跡誤差減半

GAE（Geometry Native Autoencoder）是一個開源的 3D 一致性視覺生成框架。它能讓你在生成影片的同時，直接把相機軌跡、深度圖以及場景的 3D 點雲模型同步解碼出來，解決影片生成裡鏡頭一晃畫面就變形的問題。

大多數影片模型在鏡頭轉動時容易穿幫，根本原因在於潛空間裡只記了畫素顏色，把 3D 幾何結構當成了後期修補的事情。GAE 則換了個思路，直接把幾何資訊塞進潛空間內部，讓生成模型在起步階段就具備 3D 空間意識。

它能做什麼

GAE 支援室內外多種場景生成，不論是第一人稱還是第三人稱視角，都能穩定維持多視角間的空間一致性。

在給定一張參考圖片和指定相機路徑的前提下，它能聯合生成一段 81 幀、解析度為 672 x 378 的影片序列，同時輸出每幀對應的連續深度圖和三維場景重建。

除了根據單張圖生成漫遊序列，GAE 也支援文生圖模式。輸入一段文本提示詞，它不僅能畫出 RGB 靜態影像，還能從同一個潛狀態直接解碼出對應的深度圖和可互動的 3D 點雲。

在測試中，固定生成器與訓練流程後，僅把潛空間替換為 GAE，在 RealEstate10K 資料集上的相機軌跡誤差直接減半。同時，衡量影片畫質的 FVD 指標在 RealEstate10K 和 DL3DV 上分別下降了 12.7% 和 23.1%。

它是怎麼做到的

GAE 的核心在於打造了一個幾何原生的潛空間。它利用凍結的幾何基礎模型提取多層級特徵，將原本高達 3072 通道的複雜幾何特徵壓縮到緊湊的 128 通道狀態。

研究團隊設定了兩種執行配置：GAE-64 更偏向緊湊生成和軌跡一致性，GAE-128 則能保留更高質量的跨視角重建細節。

擴散模型直接在這個幾何潛空間內執行流匹配生成。由於潛狀態本身就編碼了跨視角的幾何關聯，後端的解碼頭可以一步到位，從同一個最終狀態中分別解碼出 RGB 外觀、深度、相機位姿和點雲。

在與 Stable Diffusion VAE、Wan2.1 影片 VAE 以及 RAEv2 等多種常見潛空間的橫向對比中，GAE 在生成外觀質量和幾何一致性上都展現出了明顯優勢。

硬體要求與開源情況

GAE 的全部權重已經開放下載，整套模型權重不到 12GB，這意味著大多數中端消費級顯示卡都能在本地順利跑起來。

專案頁面不僅提供了完整的論文、本地執行與推理說明，還同時公開了模型訓練程式碼和評估指令碼。

如果你手頭有一張消費級顯示卡，想要嘗試本地部署 3D 一致性世界生成，點選專案主頁的程式碼按鈕即可獲取程式碼和模型指引。

為什麼重要

對於從事 3D 場景生成、遊戲環境原型設計和具身智慧的開發者來說，GAE 非常值得第一時間下載測試。過去生成連貫的 3D 場景往往需要多套模型級聯，流程繁瑣且對視訊記憶體要求苛刻，GAE 把權重壓在 12GB 以內，大幅拉低了本地實驗的門檻。

從技術思路上看，我們認為 GAE 走得非常聰明。它沒有跟風去卷更大引數量的外觀擴散模型，而是指出了當前影片生成的核心缺陷出在潛空間表徵上。把感知模型的幾何能力與生成模型的擴散流程打通，證明了潛空間本身就能充當感知與生成的通用橋梁，為後續的世界模型研發提供了一條極具價效比的新路徑。