NVIDIA 提出 PiD:用畫素擴散替換 VAE,2K 生圖解碼壓進 1 秒
NVIDIA 團隊提出影像解碼技術 PiD。它用畫素擴散替代傳統 VAE,將解碼與 4 至 8 倍上取樣整合,在 RTX 5090 上把 2K 影像解碼壓到 1 秒內。這解決了高解析度生成最後一步細節模糊的痛點,同時大幅縮短了等待時間。

很多玩過文生圖的人都遇到過類似煩惱:潛空間裡算得好好的,最後一步轉成高解析度大圖時,髮絲、睫毛或紋理卻突然發糊發肉。
這往往不是底模理解力不行,而是負責把壓縮特徵還原成畫素的傳統 VAE 解碼器到了極限。5 月 22 日,NVIDIA 團隊提出了一項名為 PiD 的影像解碼技術,試圖徹底拔掉這個拖慢生圖管線的瓶頸。
把機械還原換成真正的生成式畫圖
主流的擴散模型和自迴歸生圖模型為了省算力,都在壓縮的潛空間裡幹活,最後靠一個解碼器把潛變數翻譯回畫素。
問題是,傳統 VAE 解碼器的本質是做資料逆運算,它的目標只是盡力重構原有壓縮包,而不是去合理合成更豐富的高頻微觀細節。一旦畫面拉到幾百萬畫素,不僅邊緣容易變軟,計算代價也會暴增。
PiD 的核心思路,是把解碼過程直接重構為一個條件畫素擴散模型。它把潛空間解碼與 4 到 8 倍的上取樣合成到同一個模組裡,直接在高解析度畫素空間中去噪生圖。
為了解決速度問題,研發團隊用 DMD2 技術對擴散模型進行了蒸餾,把原本需要幾十步的推理過程直接壓縮到了 4 步。
此外,PiD 還塞進了一個輕量級的 sigma-aware 介面卡。它允許模型接納帶噪的中間潛變數,哪怕生圖模型還沒完全走完所有步數,PiD 也能提前接手解碼,用來快速生成低延遲預覽或提前結束潛變數計算。
RTX 5090 跑 2K 不到 1 秒
速度和資源消耗是這項技術最亮眼的地方。
在消費級顯示卡 RTX 5090 上,PiD 把 512×512 尺寸的潛變數解碼放大到 2048×2048 解析度,耗時不到 1 秒,峰值視訊記憶體佔用控制在 13 GB 左右。
如果放在資料中心級別的 GB200 上跑,同樣的 2K 解碼過程只需要 210 毫秒。相比業內常見的級聯擴散超解析度管線,PiD 的速度快了大約 6 倍,視覺保真度還更好。
在相容性上,它既能直接套用在 FLUX.1、SD3 等常見模型的傳統 VAE 潛空間上,也能適配 SigLIP、DINOv2 等基於語義表徵的新型潛變數模型。
為什麼重要
長期以來,高解析度影像生成總要在兩條路里妥協:要麼忍受傳統 VAE 直出大圖的發糊質感,要麼外掛一個極慢的超解析度擴散模型慢慢磨。
PiD 的價值在於,它讓個人創作者和開發者不需要複雜的多段工作流,單靠一張 RTX 5090 就能在 1 秒內拿到銳利的 2K 大圖。13 GB 的峰值視訊記憶體門檻,也讓高階消費級顯示卡完全跑得轉。
對整個生圖工具鏈而言,解碼端正從單純的「格式解壓工具」演變成生圖質量的第二級火箭。一旦開源生態把這一技術落地到日常生圖軟體中,即時畫圖和高畫質預覽的等待體驗會被徹底重塑。
我們認為 NVIDIA 這一步走得很準。他們沒有去重新卷一個百億引數的通用文生圖底座,而是挑中了整個流水線裡最卡手、最影響最終觀感的解碼死角,用僅僅 4 步擴散的輕量架構,把速度和畫質一起提了上去。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org