輝達開源 PixelUMM：不用 VAE，一個模型搞定影像影片理解與生成

PixelUMM 是輝達與滑鐵盧大學開源的多模態模型，用一個 decoder-only Transformer 同時搞定影像和影片的理解與生成。它最大的特點是完全去掉了擴散模型常用的 VAE，也不再外掛 CLIP 等視覺編碼器，直接在原始畫素空間進行讀寫。

它能做什麼

PixelUMM 以 Qwen3-8B 為骨幹網路，一個架構通吃四項任務：文生圖、文生影片、影像理解和影片理解。

它的核心邏輯很直接：把輸入影像切成 16×16 的畫素塊，把影片切成 4 幀一組的時間塊。模型內部設定了理解專家和生成專家，但它們共享底層的自注意力機制。純淨的文本提示和輸入畫面進入理解專家，帶有噪聲的目標畫素進入生成專家，統一在一個序列裡計算。

官方放出了兩個權重。預設的 S8-F22-R05 完整支援四項任務；另一個微調版 S8-F18-R01 不支援影片理解，但在 480p 和 720p 解析度下的影片生成表現略好一些。

在生成效果上，PixelUMM 目前還比不上頂尖的前沿商業模型。由於輸出端採用線性投射，在天空等低紋理、平滑的區域容易看到輕微的網格狀邊界偽影，提高引導係數時這種偽影會更明顯。

怎麼跑起來

程式碼倉庫已經開源在 GitHub 上，大部分原始檔採用寬鬆的 Apache-2.0 協議，部分源自 DiT 的模組保留了 CC BY-NC 4.0 限制。

模型權重需要從 Hugging Face 上的 nvidia/PixelUMM 下載，同時需要搭配 Qwen3-8B 的配置檔案和分詞器。單條命令生成影片時預設開啟了安全檢查，需要單獨向 nvidia/Cosmos-1.0-Guardrail 申請許可權才能拉取護欄權重。

單卡 GPU 就可以執行基礎的任務推理，官方提供瞭解析指令碼 check_checkpoint.py，不載入全模型就能驗證張量完整性。但如果想跑倉庫裡附帶的四任務簡易訓練示例，硬體門檻很高：需要準備 7 張至少擁有 48 GiB 視訊記憶體的 GPU，以及能存放 61 GB 權重檔案的硬碟空間。

為什麼重要

過去幾年，多模態領域習慣了用編碼器做理解、用 VAE 潛空間做生成的拼裝路線。PixelUMM 證明了直接在原始畫素上打通理解和生成是可行的，大幅精簡了複雜的工程管線。

我們認為，它目前還屬於前沿架構的探索原型，生成畫質和一致性尚未成熟，算力消耗也偏大。它不適合直接拿來做商業生產，但對研究全畫素端到端架構的開發者來說，是一個非常值得拆解的參考專案。