跳到正文
IFAI

開源專案

Pruna 開源 P-H3-Image:把影片模型改成影像生成,8 步跑出 4K 圖

首次發布 傳播指數 48

Pruna AI 開源影像模型 P-H3-Image,由影片模型 MiniMax-H3 重構而來。團隊精簡了文本編碼器與網路骨幹,將生成壓縮至 8 步,體積減至最小 20 GB,支援最高 1600 萬畫素及 8 張參考圖融合。ComfyUI 已原生支援該模型。

Pruna 開源 P-H3-Image:把影片模型改成影像生成,8 步跑出 4K 圖
AI 生成配圖

以前大家做影像模型,嫌畫質不夠就堆資料、加引數;現在有人另闢蹊徑,直接從影片大模型裡「挖」出一個影像生成器。

Pruna AI 最近開源了名為 P-H3-Image 的影像生成與編輯模型。它的底座不是某個傳統的擴散模型,而是此前 MiniMax 開源的影片生成大模型 MiniMax-H3。團隊通過一整套手術刀式的重構,硬是把一個龐大笨重的影片模型,改造成了只需要 8 步就能出圖的高解析度影像模型。

拆掉影片骨架,重灌影像引擎

為什麼要拿影片模型改影像?道理其實很直白。影片模型為了保證前後幀連貫,必須在訓練中深刻理解不同視角的光影變化、物體結構和運動規律,這些物理先驗是純影像模型很難徹底吃透的。

問題在於,MiniMax-H3 原生雖然能單幀出圖,但畫面偏軟偏糊,而且原始體積高達 143 GB,生成一張圖還要跑 50 步,普通人根本跑不動。

Pruna 幾乎把模型的每一個核心零件都換了一遍。他們先把原本 32B 的巨型文本編碼器蒸餾到了 4B,體積直接從 67 GB 砍到 9 GB;接著把 Transformer 骨幹網路中佔了 40% 的時間步處理模組換成輕量等效結構,讓骨幹引數從 33B 降至 20B。

針對生成速度,團隊用 DMD 蒸餾技術把擴散步數從 50 步壓縮到了 8 步。原版用來一次解碼多幀畫面的影片解碼器也被撤下,換成專門針對單幀銳利影像的專用解碼器。再加上 8-bit 和 4-bit 量化,模型的下載體積最小隻要 20 GB,相比原版縮小了整整 7 倍。

速度翻了 5 倍,還能一次拼 8 張參考圖

瘦身之後的效果相當亮眼。在 B200 顯示卡上生成一張 400 萬畫素的圖片,耗時從原本的 12.4 秒縮短到了 2.6 秒,生成 800 萬畫素也只要 5.8 秒,速度整體提升了約 5 倍。

視訊記憶體佔用也終於降到了消費級可碰的邊緣。在 4-bit 模式下生成 800 萬畫素影像,峰值視訊記憶體佔用大約在 21 GB,單張 24 GB 視訊記憶體的顯示卡已經可以嘗試跑起來。

畫面表現上,它繼承了影片模型的光影與寫實質感,在紀實攝影、電影劇照、真實皮膚紋理、動漫以及藝術版畫風格上表現突出。更實用的是它的多圖融合能力,藉助影片模型處理多幀參考的底子,它最多能把 8 張不同的參考人物或物體自然地融合進同一個場景,或者通過自然語言對現有圖片進行區域性修改。

不過短板也很明顯。模型對極端簡短或誇張堆疊的提示詞很敏感,生成小字或程式碼極不穩定;在低於 800 萬畫素解析度時,小人物面部和手部容易出現扭曲。目前模型已經在 Hugging Face 開源,ComfyUI 也已原生支援,無需安裝第三方節點。

為什麼重要

把影片模型「降維」做成影像生成,這條路線在工程上非常聰明。訓練頂尖影像模型的門檻正變得越來越高,而影片模型天然具備更高維度的空間與運動常識。Pruna 證明了不用從零訓練,只要通過極致的蒸餾、剪枝和解碼重構,就能把影片大模型的常識能力直接「挪用」給靜態影像,而且出圖質感遠比純影像訓練的模型更具電影感。

對創作者來說,單卡跑 8 步出 4K 級影像、還能原生融合 8 張參考圖,直接解決了角色一致性和複雜場景拼貼的痛點,ComfyUI 的原生支援更讓上手門檻大幅降低。

但我們認為,它目前最大的限制不在技術,而在開源協議。模型沿用了 MiniMax H3 的社群許可證,明確排除了歐美及日韓等多個地區,商用還必須署名。這意味著很多團隊只能把它當作本地嚐鮮工具,短期內很難直接放進成熟的商業工作流中。

來源 (1)

  1. [1]
    pruna.ai(在新分頁開啟)原文pruna.ai

每日 AI 內容精選