跳到正文
IFAI

开源项目

开源模型 LLaDA-Image:单个 6B 权重搞定生图与修图

首次发布 传播指数 48

inclusionAI 开源 60 亿参数模型 LLaDA-Image。它无需单独的修图主干网络,用单一权重同时搞定文生图、指令修图和中英文字渲染;4 步蒸馏版 Turbo 还大幅压缩了推理耗时。目前 ComfyUI 插件与 FP8 权重已同步支持。

开源模型 LLaDA-Image:单个 6B 权重搞定生图与修图
图:github.com

LLaDA-Image 把高质量文生图和指令修图做进了同一个 60 亿(6B)参数的模型里。

以往处理这类任务通常很折腾:文生图用一套权重,做局部重绘或改姿态时又得外挂一套专门的修图网络。inclusionAI 发布的这个统一模型,只用单个 checkpoint 就能直接处理从零生成、图生图以及中英双语文字排版。

它能做什么

从官方示例和测试来看,LLaDA-Image 覆盖了视觉创作中最常见的几类需求。

文生图方面,它主打逼真的自然光影和细节质感,同时支持在海报和信息图中直接渲染清晰的中英文字符,不需要后期再手动补字。

修图是它的核心亮点。你只要输入一张参考图并附带一句自然语言指令,它就能保持主体原貌并执行精细修改,比如改变人物表情、调整动作姿势、替换指定物体,甚至给老旧黑白照片重新上色。

在 Qwen-Image-Bench 基准测试中,该模型拿下了英文 53.53 分、中文 53.38 分的综合表现。

整个家族主要分为两个版本:用于追求画面精细度的 50 步 Base 基础模型,以及利用 Twin-DMD 蒸馏技术打造的 4 步 Turbo 快速模型。如果你对生成速度有要求,Turbo 版可以在极短的步数内完成出图或编辑。

怎么跑起来

想要在本地运行,硬件门槛并不高。

官方在 Hugging Face 和 ModelScope 上同步提供了 BF16 和 FP8 两种精度的权重。以 Turbo FP8 版本为例,其中的 Transformer 主体模型只有约 6.7GB 大小,绝大多数消费级显卡都能直接装下。

运行环境需要 Python 3.11、PyTorch 2.8 和 Diffusers 0.39.0。纯文本生图以及 VQ 模式要求图像分辨率是 16 的倍数,而输入参考图的修图模式则要求宽高是 32 的倍数。

如果你不想写 Python 脚本,社区在 9 月 7 日就已经接入了 ComfyUI 工作流支持,FP8 权重也可以直接在图形化节点里调用。目前推理代码和模型权重已经全部公开,完整的训练代码则标注为即将推出。

为什么重要

对于个人创作者和独立开发者来说,LLaDA-Image 是个非常划算的本地工具。以往想要兼顾生图与修图,往往需要在多个大模型和复杂的控制插件之间来回切换,显存和部署成本都居高不下。现在一个不到 7GB 的 FP8 模型就能在消费级显卡上把整套流程跑通,推理速度还能压到 4 步以内。

我们认为它的价值在于把原本割裂的生成与编辑管线合并到了单一架构中。虽然它的全套训练代码尚未完全放出,但作为一个开源的 6B 轻量方案,它给本地工作流提供了一个兼顾画质、功能和速度的高性价比选项。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选