英伟达开源 PixelUMM:不用 VAE,一个模型搞定图像视频理解与生成
NVIDIA 开源多模态模型 PixelUMM。它完全去掉了传统的 VAE 与视觉编码器,基于 Qwen3-8B 骨干网络,直接在原始像素空间同时完成图像与视频的理解和生成。最值得关注的是,单一架构通吃四项任务,大幅简化了多模态管线。
NVIDIA 开源多模态模型 PixelUMM。它完全去掉了传统的 VAE 与视觉编码器,基于 Qwen3-8B 骨干网络,直接在原始像素空间同时完成图像与视频的理解和生成。最值得关注的是,单一架构通吃四项任务,大幅简化了多模态管线。