跳到正文
IFAI

开源项目

阿里开源 20B 图像模型 Qwen-Image:搞定复杂中英文排版

首次发布 传播指数 60

阿里推出 20B 图像基础模型 Qwen-Image。模型基于 MMDiT 架构,主打原生中英文文字渲染与精准图像编辑,能直接在画面中稳定排布多行段落甚至对联。文生图一直头疼的中文字符拼写与海报排版难题,迎来了开源方案。

阿里开源 20B 图像模型 Qwen-Image:搞定复杂中英文排版
图:venturebeat.com

玩过文生图工具的人都知道,最让人头疼的就是让 AI 在画面里老老实实写字。英文搞不好就缺胳膊少腿,中文字符更是经常变成意义不明的符咒,设计师往往只能先出图,再扔进修图软件手动打字排版。

阿里正式发布并开源了 20B 参数的图像基础模型 Qwen-Image。模型基于 MMDiT 架构,最大的看点就是解决了原生中英文文字渲染与精准图像编辑这两块硬骨头。

把字写对,还能排出版面

Qwen-Image 这次展现出来的能力,不是简单地在画面角落贴几个字母,而是搞定了多行排版、段落语义以及细粒度的文字结构。它不仅支持英文这类字母语言,对结构复杂的中文同样能做到高保真渲染。

官方公布的案例挺让人吃惊。在古风厅堂场景中,模型能完整且工整地写出一副对联,甚至带上书法效果;在动漫街景中,多处店铺招牌上的文字也能根据透视关系自然呈现。

英文表现同样扎实。比如书店橱窗展示里,模型不仅能准确生成标语,还能一字不差地把书架上四本书的书名印在封面上。

更难得的是版面组织能力。在信息图和 PPT 的生成测试中,Qwen-Image 可以按照提示词划分出多个模块,各自配上对应的图标、标题和说明正文。哪怕是画面占比不到十分之一的便签纸,上面长达数行的手写小字也能清晰可辨,甚至支持中英双语即时切换。

从生成到编辑一网打尽

除了文字渲染,Qwen-Image 还引入了增强的多任务训练范式,提升了图像编辑的表现。

以往的扩散模型在编辑时很容易改动原图不需要变的部分。Qwen-Image 则可以在保持原有视觉质感和语义的前提下,完成风格迁移、元素增删、细节增强、文字修改以及人物姿态调整。

在基准测试表现上,它在通用的图像生成评测 GenEval、DPG、OneIG-Bench,以及图像编辑评测 GEdit、ImgEdit、GSO 上都取得了不错的成绩。而在专门考察文本渲染的 LongText-Bench、ChineseWord 和 TextCraft 等测试集上,其中文文字生成的表现明显拉开了与现有模型的差距。

普通用户目前可以在 Qwen Chat 里选择图像生成功能直接体验。

为什么重要

对日常做图的运营人员、海报设计师和内容创作者来说,文生图工具终于往「可交付」迈进了一大步。以前用 AI 生成营销海报或幻灯片,文字部分基本全废;现在直接输出带有完整标题、排版和中英文注释的成图,很多轻量级物料甚至可以直接拿来用。

对整个开源模型生态而言,这一步走得很关键。在此之前,开源文生图在英文排版上已有明显突破,但在原生中文文字渲染上长期缺乏真正能打的模型。阿里选择以 20B 参数的 MMDiT 架构切入,并且将能力开源,直接填补了中文视觉设计领域的开源基座空白。

我们认为,阿里把发力点放在文字排版和精准编辑上非常聪明。单纯比拼画风和质感的时代已经过去,能否稳定控制画面的每一个要素才是落地的核心瓶颈。不过 20B 的参数量对本地部署设备提出了不小的显存要求,普通开发者想要在消费级硬件上流畅跑起来,接下来可能还要看社区的量化和轻量化跟进速度。

来源 (2)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com
  2. [2]
    qwenlm.github.io(在新标签页打开)报道qwenlm.github.io

每日 AI 内容精选