跳到正文
IFAI

開源專案

開源模型 LLaDA-Image:單個 6B 權重搞定生圖與修圖

首次發布 傳播指數 48

inclusionAI 開源 60 億引數模型 LLaDA-Image。它無需單獨的修圖主幹網路,用單一權重同時搞定文生圖、指令修圖和中英文字渲染;4 步蒸餾版 Turbo 還大幅壓縮了推理耗時。目前 ComfyUI 外掛與 FP8 權重已同步支援。

開源模型 LLaDA-Image:單個 6B 權重搞定生圖與修圖
圖:github.com

LLaDA-Image 把高質量文生圖和指令修圖做進了同一個 60 億(6B)引數的模型裡。

以往處理這類任務通常很折騰:文生圖用一套權重,做區域性重繪或改姿態時又得外掛一套專門的修圖網路。inclusionAI 釋出的這個統一模型,只用單個 checkpoint 就能直接處理從零生成、圖生圖以及中英雙語文字排版。

它能做什麼

從官方示例和測試來看,LLaDA-Image 覆蓋了視覺創作中最常見的幾類需求。

文生圖方面,它主打逼真的自然光影和細節質感,同時支援在海報和資訊圖中直接渲染清晰的中英文字元,不需要後期再手動補字。

修圖是它的核心亮點。你只要輸入一張參考圖並附帶一句自然語言指令,它就能保持主體原貌並執行精細修改,比如改變人物表情、調整動作姿勢、替換指定物體,甚至給老舊黑白照片重新上色。

在 Qwen-Image-Bench 基準測試中,該模型拿下了英文 53.53 分、中文 53.38 分的綜合表現。

整個家族主要分為兩個版本:用於追求畫面精細度的 50 步 Base 基礎模型,以及利用 Twin-DMD 蒸餾技術打造的 4 步 Turbo 快速模型。如果你對生成速度有要求,Turbo 版可以在極短的步數內完成出圖或編輯。

怎麼跑起來

想要在本地執行,硬體門檻並不高。

官方在 Hugging Face 和 ModelScope 上同步提供了 BF16 和 FP8 兩種精度的權重。以 Turbo FP8 版本為例,其中的 Transformer 主體模型只有約 6.7GB 大小,絕大多數消費級顯示卡都能直接裝下。

執行環境需要 Python 3.11、PyTorch 2.8 和 Diffusers 0.39.0。純文本生圖以及 VQ 模式要求影像解析度是 16 的倍數,而輸入參考圖的修圖模式則要求寬高是 32 的倍數。

如果你不想寫 Python 指令碼,社群在 9 月 7 日就已經接入了 ComfyUI 工作流支援,FP8 權重也可以直接在圖形化節點裡呼叫。目前推理程式碼和模型權重已經全部公開,完整的訓練程式碼則標註為即將推出。

為什麼重要

對於個人創作者和獨立開發者來說,LLaDA-Image 是個非常划算的本地工具。以往想要兼顧生圖與修圖,往往需要在多個大模型和複雜的控制外掛之間來回切換,視訊記憶體和部署成本都居高不下。現在一個不到 7GB 的 FP8 模型就能在消費級顯示卡上把整套流程跑通,推理速度還能壓到 4 步以內。

我們認為它的價值在於把原本割裂的生成與編輯管線合併到了單一架構中。雖然它的全套訓練程式碼尚未完全放出,但作為一個開源的 6B 輕量方案,它給本地工作流提供了一個兼顧畫質、功能和速度的高性價比選項。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選