GAE 开源：把 3D 几何塞进潜空间，相机轨迹误差减半

GAE（Geometry Native Autoencoder）是一个开源的 3D 一致性视觉生成框架。它能让你在生成视频的同时，直接把相机轨迹、深度图以及场景的 3D 点云模型同步解码出来，解决视频生成里镜头一晃画面就变形的问题。

大多数视频模型在镜头转动时容易穿帮，根本原因在于潜空间里只记了像素颜色，把 3D 几何结构当成了后期修补的事情。GAE 则换了个思路，直接把几何信息塞进潜空间内部，让生成模型在起步阶段就具备 3D 空间意识。

它能做什么

GAE 支持室内外多种场景生成，不论是第一人称还是第三人称视角，都能稳定维持多视角间的空间一致性。

在给定一张参考图片和指定相机路径的前提下，它能联合生成一段 81 帧、分辨率为 672 x 378 的视频序列，同时输出每帧对应的连续深度图和三维场景重建。

除了根据单张图生成漫游序列，GAE 也支持文生图模式。输入一段文本提示词，它不仅能画出 RGB 静态图像，还能从同一个潜状态直接解码出对应的深度图和可交互的 3D 点云。

在测试中，固定生成器与训练流程后，仅把潜空间替换为 GAE，在 RealEstate10K 数据集上的相机轨迹误差直接减半。同时，衡量视频画质的 FVD 指标在 RealEstate10K 和 DL3DV 上分别下降了 12.7% 和 23.1%。

它是怎么做到的

GAE 的核心在于打造了一个几何原生的潜空间。它利用冻结的几何基础模型提取多层级特征，将原本高达 3072 通道的复杂几何特征压缩到紧凑的 128 通道状态。

研究团队设定了两种运行配置：GAE-64 更偏向紧凑生成和轨迹一致性，GAE-128 则能保留更高质量的跨视角重建细节。

扩散模型直接在这个几何潜空间内执行流匹配生成。由于潜状态本身就编码了跨视角的几何关联，后端的解码头可以一步到位，从同一个最终状态中分别解码出 RGB 外观、深度、相机位姿和点云。

在与 Stable Diffusion VAE、Wan2.1 视频 VAE 以及 RAEv2 等多种常见潜空间的横向对比中，GAE 在生成外观质量和几何一致性上都展现出了明显优势。

硬件要求与开源情况

GAE 的全部权重已经开放下载，整套模型权重不到 12GB，这意味着大多数中端消费级显卡都能在本地顺利跑起来。

项目页面不仅提供了完整的论文、本地运行与推理说明，还同时公开了模型训练代码和评估脚本。

如果你手头有一张消费级显卡，想要尝试本地部署 3D 一致性世界生成，点击项目主页的代码按钮即可获取代码和模型指引。

为什么重要

对于从事 3D 场景生成、游戏环境原型设计和具身智能的开发者来说，GAE 非常值得第一时间下载测试。过去生成连贯的 3D 场景往往需要多套模型级联，流程繁琐且对显存要求苛刻，GAE 把权重压在 12GB 以内，大幅拉低了本地实验的门槛。

从技术思路上看，我们认为 GAE 走得非常聪明。它没有跟风去卷更大参数量的外观扩散模型，而是指出了当前视频生成的核心缺陷出在潜空间表征上。把感知模型的几何能力与生成模型的扩散流程打通，证明了潜空间本身就能充当感知与生成的通用桥梁，为后续的世界模型研发提供了一条极具性价比的新路径。