輝達開源 PixelUMM:不用 VAE,一個模型搞定影像影片理解與生成
NVIDIA 開源多模態模型 PixelUMM。它完全去掉了傳統的 VAE 與視覺編碼器,基於 Qwen3-8B 骨幹網路,直接在原始畫素空間同時完成影像與影片的理解和生成。最值得關注的是,單一架構通吃四項任務,大幅簡化了多模態管線。
NVIDIA 開源多模態模型 PixelUMM。它完全去掉了傳統的 VAE 與視覺編碼器,基於 Qwen3-8B 骨幹網路,直接在原始畫素空間同時完成影像與影片的理解和生成。最值得關注的是,單一架構通吃四項任務,大幅簡化了多模態管線。