英伟达开源 PixelUMM：不用 VAE，一个模型搞定图像视频理解与生成

PixelUMM 是英伟达与滑铁卢大学开源的多模态模型，用一个 decoder-only Transformer 同时搞定图像和视频的理解与生成。它最大的特点是完全去掉了扩散模型常用的 VAE，也不再外挂 CLIP 等视觉编码器，直接在原始像素空间进行读写。

它能做什么

PixelUMM 以 Qwen3-8B 为骨干网络，一个架构通吃四项任务：文生图、文生视频、图像理解和视频理解。

它的核心逻辑很直接：把输入图像切成 16×16 的像素块，把视频切成 4 帧一组的时间块。模型内部设置了理解专家和生成专家，但它们共享底层的自注意力机制。纯净的文本提示和输入画面进入理解专家，带有噪声的目标像素进入生成专家，统一在一个序列里计算。

官方放出了两个权重。默认的 S8-F22-R05 完整支持四项任务；另一个微调版 S8-F18-R01 不支持视频理解，但在 480p 和 720p 分辨率下的视频生成表现略好一些。

在生成效果上，PixelUMM 目前还比不上顶尖的前沿商业模型。由于输出端采用线性投射，在天空等低纹理、平滑的区域容易看到轻微的网格状边界伪影，提高引导系数时这种伪影会更明显。

怎么跑起来

代码仓库已经开源在 GitHub 上，大部分源文件采用宽松的 Apache-2.0 协议，部分源自 DiT 的模块保留了 CC BY-NC 4.0 限制。

模型权重需要从 Hugging Face 上的 nvidia/PixelUMM 下载，同时需要搭配 Qwen3-8B 的配置文件和分词器。单条命令生成视频时默认开启了安全检查，需要单独向 nvidia/Cosmos-1.0-Guardrail 申请权限才能拉取护栏权重。

单卡 GPU 就可以运行基础的任务推理，官方提供了解析脚本 check_checkpoint.py，不加载全模型就能验证张量完整性。但如果想跑仓库里附带的四任务简易训练示例，硬件门槛很高：需要准备 7 张至少拥有 48 GiB 显存的 GPU，以及能存放 61 GB 权重文件的硬盘空间。

为什么重要

过去几年，多模态领域习惯了用编码器做理解、用 VAE 潜空间做生成的拼装路线。PixelUMM 证明了直接在原始像素上打通理解和生成是可行的，大幅精简了复杂的工程管线。

我们认为，它目前还属于前沿架构的探索原型，生成画质和一致性尚未成熟，算力消耗也偏大。它不适合直接拿来做商业生产，但对研究全像素端到端架构的开发者来说，是一个非常值得拆解的参考项目。