跳到正文
IFAI

開源專案

微軟開源 Lens 3.8B 文生圖模型:4 步極速出圖,算力消耗不到兩成

首次發布 傳播指數 48

微軟開源 3.8B 文生圖模型 Lens 全部權重,包含 Base 與 Turbo 等版本。其蒸餾 Turbo 版僅需 4 步、0.84 秒即可出圖,訓練算力消耗僅為同類的 19.3%,最高支援 1440x1440 解析度。獨立開發者可藉此獲得輕量且專業級的影像生成流程。

Lens 是微軟開源的一個 3.8B 引數文生圖模型,核心賣點是用極低的訓練成本跑出大模型的畫質,並且通過蒸餾版實現了不到 1 秒的極速出圖。

這次微軟放出了包括 Base、標準版 Lens 以及 Turbo 在內的全套權重。對於想在本地或自有伺服器上搭建生圖工作流的獨立開發者來說,這意味著不需要動用龐大的叢集,就能跑一套高解析度的專業流程。

它是怎麼做到小而快的

Lens 在多個測試集上的表現逼近甚至超過了 6B 以上的開源主流模型,但它的訓練算力消耗只有對比模型 Z-Image 的 19.3%。能省下八成以上的算力,主要靠的是資料質量和模型架構兩方面的改進。

首先是餵給模型的資料密度極高。微軟構建了一個名為 Lens-800M 的資料集,包含 8 億張圖文對。這些圖片的描述不是以往那種簡短的幾個標籤,而是由 GPT-4.1 生成的密集長文本,平均每個描述多達 109 個詞。更豐富的語義監督讓模型在每一步訓練裡學到更多細節。

同時,訓練時每個批次都混入了不同解析度和長寬比的影像,讓模型能自然適配從 1:2 到 2:1 的任意構圖,最高支援 1440x1440 解析度。

在架構上,Lens 採用了語義 VAE 來獲得更優質的潛在空間表徵,並配合強大的語言編碼器。即便預訓練主要使用英文資料,模型也具備了多語言提示詞的理解能力。預訓練完成後,團隊還引入了基於分類體系的強化學習資料集 Lens-RL-8K,通過結構化獎勵標準壓制畫面偽影。

4 步極速出圖與執行門檻

除了常規生成流程,微軟這次還通過蒸餾技術打造了 Turbo 變體。

在單張 NVIDIA H100 顯示卡上,3.8B 標準版生成一張 1024x1024 影像需要 3.15 秒。而經過蒸餾的 Turbo 版本只需要 4 步推理,生成耗時縮短到了 0.84 秒。

另外,有報道提到該專案涉及 FLUX.2 VAE 與 GPT-OSS 相關的技術整合。模型還配備了一個免訓練系統提示詞搜尋的推理模組,用來自動校準使用者的輸入意圖,降低提示詞編寫門檻。

目前微軟已經公開了 Lens 的研究論文和相關權重,開發者可以在對應的開源渠道獲取 Base、Lens 和 Turbo 權重檔案。

為什麼重要

文生圖領域過去一年基本被引數越來越大的龐然大物統治,動輒數十億甚至上百億引數的模型雖然效果驚豔,但極高的推理延遲和視訊記憶體開銷把大多數個人開發者和小型團隊擋在了門外。Lens 證明了只要提高資料的資訊密度,3.8B 級別的小模型同樣能越級挑戰 6B 以上的大模型。

我們認為,蒸餾出的 Turbo 版本最有實用價值。0.84 秒的出圖速度意味著它可以直接嵌入即時互動、動態生成或者高併發的實際業務場景中,而不是隻能在後臺慢慢排隊。如果你正在尋找一個能低成本私有化部署、畫質不錯又要求極高吞吐量的文生圖底座,Lens 是目前非常值得上機測試的選擇。

來源 (1)

  1. [1]

每日 AI 內容精選