PixWorld 论文发布：跳过潜空间，直接在像素级做 3D 场景生成与重建

想用 AI 生成一个能四处走动的 3D 场景，过去往往得经历两次妥协：要么在潜空间里把画面压成低维特征再生成，结果解压出来到处是毛刺和糊斑；要么把「看图建模」和「凭空生成」拆成两套完全不同的系统来跑。

研究人员公布了一项名为 PixWorld 的新成果。它直接掀掉了中间的潜空间压缩层，用一个单一模型，在纯像素空间里把 3D 场景重建和生成合二为一。

甩掉潜空间，让 AI 直接对着像素画 3D

大多数世界生成模型为了省算力，都习惯把图像塞进预训练的 VAE 或 RAE 编码器里，在压缩后的潜空间里跑扩散算法。算起来是快了，但每次压缩和解码都会丢失细节，AI 优化的也是潜在特征，而不是最终渲染出来的 3D 真实长相。

PixWorld 干脆抛弃了 VAE，直接在像素空间里做流匹配。它把带相机位姿的多视角画面分成两批：干净的画面负责提供已知信息做重建，带噪声的画面负责靠想象力做生成。

负责处理这套流程的是一个双流 Diffusion Transformer。模型只做一次前向传播，就能直接解码出像素对齐的 3D 高斯（3D Gaussian）表征。也就是说，从输入图片到最终生成可交互的 3D 场景，中间没有折腾人的多重转码。

为了防止在像素空间生成时缺乏立体感，团队还引入了一套几何感知损失。他们拉来冻结的 3D 基座模型，比如 π³ 或 VGGT，把渲染出来的视角和真实画面放在 3D 特征空间里比对，逼着模型在理解结构的前提下补全细节。

生成速度也打破了像素空间通常很慢的刻板印象。项目页面显示，经过蒸馏后，4 步推理模型生成一个场景仅需约 0.6 秒，比传统的扩散类世界生成器快了近千倍。有第三方报道提及能在几秒内生成 480p 场景。团队目前在主页留出了代码入口，计划陆续公开数据集、模型权重和推理代码。

为什么重要

对游戏美术、影视概念设计以及具身智能开发者来说，PixWorld 这种「重建加生成」一把抓的工具，能大幅缩短搭建可漫游场景的时间。只要随手拍几张参考图，甚至给一张初始帧，AI 就能在半秒内把没拍到的死角补全成连贯的三维空间。

我们认为，这项工作最聪明的地方，在于它戳破了 3D 生成领域长期对潜空间的依赖。过去大家认为在像素空间端到端优化 3D 太重、算不动，但 PixWorld 证明了只要配合 3D 高斯表征和几何监督，直接对着最终渲染图反向传播，不仅画面一致性更好，蒸馏后的速度甚至能反超老路线。

不过，完全在像素空间训练依然极其消耗算力，目前模型输出的分辨率和多视角大范围外推能力，大概率还会受制于训练数据的多样性。未来它能否在复杂大场景中保持几何不崩塌，还要等开源社区拿到代码和模型权重后进一步验证。