DiffSynth-Studio 開源 Qwen-Image-i2L:單張圖片直接轉出專屬 LoRA
DiffSynth-Studio 開源 Qwen-Image-i2L,支援僅憑單張圖片直接生成定製 LoRA 模型。該套件基於 SigLIP2、DINOv3 與 Qwen-VL,提供 2.4B 風格提取和 7.9B 內容捕捉等模型。這意味著無需繁瑣微調與大批訓練集,靠一張圖就能快速提煉畫風與主體。

Qwen-Image-i2L 是開源框架 DiffSynth-Studio 推出的一套影像轉 LoRA 工具,它的核心邏輯非常直接:輸入一張圖片,模型直接為你輸出一個對應的 LoRA 權重檔案。
在以往的文生圖工作流裡,如果你想讓模型學會一種特定畫風或者某個具體物體,通常需要準備十幾張圖,打上標籤,再丟進顯示卡跑十幾分鍾甚至幾個小時的微調訓練。Qwen-Image-i2L 打破了這個流程,用前向推理直接把單張圖的視覺特徵轉化成 LoRA 權重。
四個模型分別解決什麼問題
這套工具不是單一模型,而是針對不同需求切分成了四個型號。
第一個是 Qwen-Image-i2L-Style,引數量 2.4B,使用 SigLIP2 和 DINOv3 作為視覺編碼器。官方表示它的細節保留能力其實偏弱,但這種「近視」反而讓它能非常純粹地抽取出畫風,適合用來做抽象向量、黑白素描等純風格遷移。
第二個是 Qwen-Image-i2L-Coarse,引數量擴大到了 7.9B,引入了 224x224 解析度的 Qwen-VL。它能同時抓取畫面的內容與結構,但精細度還不夠,官方不建議單獨使用。
第三個是 7.6B 的 Qwen-Image-i2L-Fine,它是 Coarse 的搭檔,必須配合 Coarse 一起載入。它把 Qwen-VL 的影像編碼解析度拉到了 1024x1024,用來補足高解析度下的細節資訊。
最後一個是僅有 30M 的 Qwen-Image-i2L-Bias,這是一個靜態修正權重。因為前兩個大模型的訓練分佈與 Qwen-Image 基礎模型存在差異,掛上這 30M 的權重,可以把出圖質感拉回 Qwen-Image 本身的偏好。
怎麼跑起來與當前限制
目前該專案已經在 GitHub、Hugging Face 和 ModelScope 上完全開源,包括推理指令碼和權重。
在硬體配置上,程式碼庫內建了基於磁碟分流的視訊記憶體最佳化方案,推理時會自動根據你顯示卡的剩餘視訊記憶體做動態排程。輸入幾張統一風格的圖片,或者單張主體照片,就能直接匯出 safetensors 格式的 LoRA。
此外,官方演示中提到,把 Coarse、Fine 和 Bias 組合生成的權重作為後續微調的初始化引數,可以大幅縮短後續訓練的收斂時間。
不過官方也直言,這套設計基於一個大膽的設想,目前在泛化能力和細節保真度上還有明顯的侷限性,屬於前沿探索性質的產物。
為什麼重要
我們認為,Qwen-Image-i2L 最吸引人的地方在於它改變了定製模型的互動範式。把原本需要重度算力和訓練指令碼的 LoRA 微調,壓縮成了一次點對點的模型前向推理,這為未來的即時風格遷移和輕量化角色繫結指明瞭一條新路。
對於個人創作者和獨立開發者來說,如果你經常需要快速驗證某種冷門畫風,或者想要一個近乎零成本的 LoRA 初始化底模,它非常值得拉下來玩一玩。但如果你的工作流對角色五官特徵或複雜工業產品細節要求極高,目前的版本還不能完全取代傳統的精細訓練。
來源 (2)
- @modelscope2022(在新分頁開啟)原文x.com
- huggingface.co(在新分頁開啟)報導huggingface.co