跳到正文
IFAI

開源專案

阿里開源 20B 影像模型 Qwen-Image:搞定複雜中英文排版

首次發布 傳播指數 60

阿里推出 20B 影像基礎模型 Qwen-Image。模型基於 MMDiT 架構,主打原生中英文文字渲染與精準影像編輯,能直接在畫面中穩定排布多行段落甚至對聯。文生圖一直頭疼的中文字元拼寫與海報排版難題,迎來了開源方案。

阿里開源 20B 影像模型 Qwen-Image:搞定複雜中英文排版
圖:venturebeat.com

玩過文生圖工具的人都知道,最讓人頭疼的就是讓 AI 在畫面里老老實實寫字。英文搞不好就缺胳膊少腿,中文字元更是經常變成意義不明的符咒,設計師往往只能先出圖,再扔進修圖軟體手動打字排版。

阿里正式釋出並開源了 20B 引數的影像基礎模型 Qwen-Image。模型基於 MMDiT 架構,最大的看點就是解決了原生中英文文字渲染與精準影像編輯這兩塊硬骨頭。

把字寫對,還能排出版面

Qwen-Image 這次展現出來的能力,不是簡單地在畫面角落貼幾個字母,而是搞定了多行排版、段落語義以及細粒度的文字結構。它不僅支援英文這類字母語言,對結構複雜的中文同樣能做到高保真渲染。

官方公佈的案例挺讓人吃驚。在古風廳堂場景中,模型能完整且工整地寫出一副對聯,甚至帶上書法效果;在動漫街景中,多處店鋪招牌上的文字也能根據透視關係自然呈現。

英文表現同樣紮實。比如書店櫥窗展示裡,模型不僅能準確生成標語,還能一字不差地把書架上四本書的書名印在封面上。

更難得的是版面組織能力。在資訊圖和 PPT 的生成測試中,Qwen-Image 可以按照提示詞劃分出多個模組,各自配上對應的圖示、標題和說明正文。哪怕是畫面佔比不到十分之一的便籤紙,上面長達數行的手寫小字也能清晰可辨,甚至支援中英雙語即時切換。

從生成到編輯一網打盡

除了文字渲染,Qwen-Image 還引入了增強的多工訓練範式,提升了影像編輯的表現。

以往的擴散模型在編輯時很容易改動原圖不需要變的部分。Qwen-Image 則可以在保持原有視覺質感和語義的前提下,完成風格遷移、元素增刪、細節增強、文字修改以及人物姿態調整。

在基準測試表現上,它在通用的影像生成評測 GenEval、DPG、OneIG-Bench,以及影像編輯評測 GEdit、ImgEdit、GSO 上都取得了不錯的成績。而在專門考察文本渲染的 LongText-Bench、ChineseWord 和 TextCraft 等測試集上,其中文文字生成的表現明顯拉開了與現有模型的差距。

普通使用者目前可以在 Qwen Chat 裡選擇影像生成功能直接體驗。

為什麼重要

對日常做圖的運營人員、海報設計師和內容創作者來說,文生圖工具終於往「可交付」邁進了一大步。以前用 AI 生成營銷海報或幻燈片,文字部分基本全廢;現在直接輸出帶有完整標題、排版和中英文註釋的成圖,很多輕量級物料甚至可以直接拿來用。

對整個開源模型生態而言,這一步走得很關鍵。在此之前,開源文生圖在英文排版上已有明顯突破,但在原生中文文字渲染上長期缺乏真正能打的模型。阿里選擇以 20B 引數的 MMDiT 架構切入,並且將能力開源,直接填補了中文視覺設計領域的開源基座空白。

我們認為,阿里把發力點放在文字排版和精準編輯上非常聰明。單純比拼畫風和質感的時代已經過去,能否穩定控制畫面的每一個要素才是落地的核心瓶頸。不過 20B 的引數量對本地部署裝置提出了不小的視訊記憶體要求,普通開發者想要在消費級硬體上流暢跑起來,接下來可能還要看社群的量化和輕量化跟進速度。

來源 (2)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com
  2. [2]
    qwenlm.github.io(在新分頁開啟)報導qwenlm.github.io

每日 AI 內容精選