Linum 開源 Pyramid-JiT：不走 VAE，2.1 萬美元訓出 20 億引數生圖模型

如果有人告訴你，只要花兩萬多美元，就能從零訓出一個生成質量不錯的 20 億引數生圖模型，大部分人大概會以為這是假新聞。

但這正是隻有兩個人的研究實驗室 Linum 最近做出來的事。他們開源了一個名為 Pyramid-JiT 的影像生成模型，模型本身有 20 億引數，搭配一個 40 億引數的文本編碼器，整個從零訓練的算力賬單算下來，剛好是 2.1 萬美元。

這個成本在動輒百萬美元起步的生成式 AI 領域，幾乎像是在白撿。

扔掉 VAE，直接在畫素裡畫畫

Pyramid-JiT 最反常識的地方，在於它沒有走絕大多數生圖模型的老路。

現在主流的擴散模型，基本都會先用一個獨立的變分自編碼器（VAE）把圖片壓進潛在空間，模型在潛在空間裡跑擴散，最後再用 VAE 解碼回正常圖片。但 Linum 團隊認為，VAE 不僅有壓縮上限，而且在下游生成中還會拖後腿。

於是他們直接把 VAE 扔了，讓擴散模型直接在畫素空間裡工作。也就是說，模型生成的每一步，面對的都是肉眼可見的畫素影像。

為了解決畫素空間計算量過大的問題，他們設計了金字塔架構。模型主幹在處理過程中，會在中間層預測四分之一和二分之一解析度的影像，提前注入梯度訊號，把收斂速度提升了數倍。

他們用了 64 塊 H100 顯示卡，先在 512 級別解析度下跑了約 6.1 億個樣本，隨後切換到 1024 解析度微調。後訓練階段則採用了有限差分流最佳化等新方法，把整個算力開銷嚴格卡在了 2.1 萬美元之內。

便宜的代價是什麼

從放出的測試樣張來看，Pyramid-JiT 生成逼真人像、自然風光和風格化插畫的效果出奇地好。但在一些特定場景下，它的小身板還是會露出破綻。

團隊自己坦白，這個模型完全不認字。因為他們的最終目標是做動畫工具，訓練時徹底過濾掉了所有包含文字的海報、幻燈片和圖書頁面，所以它完全無法生成文字和海報排版。

另外，遇到全身大遠景、多人群體互動或者像「六輛車」這種複雜實體計數時，模型依然容易出現肢體畸變或漏算。

不過作為開源實驗，團隊給得非常大方。專案在 Hugging Face 上的模型權重約 8.74GB，採用極為寬鬆的 Apache 2.0 許可證，不僅允許商用，而且普通消費級顯示卡就能輕鬆拉起來在本地跑。

為什麼重要

對於獨立開發者和小型團隊來說，Pyramid-JiT 最重要的價值是打破了擴散模型的算力迷信。以前大家覺得只有大廠才玩得起端到端訓練，現在 2.1 萬美元的門檻，意味著任何一個幾人規模的工作室，只要有好的資料流和架構設計，都能訓一套專屬的基底模型，非常值得想要自建生成流程的開發者拿來拆解學習。

從行業角度看，這個專案把戰火引向了去 VAE 架構和畫素空間生成。長期以來，行業習慣了依賴潛在空間壓縮來掩蓋算力短缺，但 Linum 證明了直接在畫素空間最佳化不僅可行，還能通過多尺度特徵預測拿到極高的樣本利用效率。這很可能會逼著開源社群重新審視現有擴散模型的架構慣性。

我們認為，Linum 這一步走得相當聰明。這個生圖模型其實只是他們研發下一代低成本影片模型 Linum v3 的概念驗證。兩個人的團隊沒有跟巨頭去卷龐大的引數量，而是精準砍掉文本渲染等非核心需求，把注意力集中在推理解碼的極致價效比上。儘管它現在還有不少細節硬傷，但這種用巧勁破解高算力壁壘的做法，才是小團隊在生成式 AI 時代最健康的生存姿態。