跳到正文
IFAI

開源專案

ReDesign:把一張扁平截圖拆回可編輯的圖層與向量檔案

首次發布 傳播指數 48

ReDesign 能將單張扁平圖片還原為包含真實文字排版、向量形狀與圖層順序的工程結構,方便直接微調與重繪。它通過多模態智慧體呼叫 Qwen-Image-Layered、SAM 2 等工具自頂向下拆解影像,目前程式碼與基準資料集已在 GitHub 開源。

ReDesign 是一個把扁平圖片拆回可編輯工程檔案的開源工具。當你手頭只有一張匯出的 PNG 截圖,或者原始設計原始檔丟失時,它能幫你把圖片重新拆解成包含真實文字排版、向量形狀、RGBA 圖層和前後遮擋順序的層級結構,並匯出成 JSON 檔案。

拿到這個結構後,你可以像在 Figma 或 Photoshop 裡一樣,單獨微調某一行文字、給向量圖形重新上色、挪動元素位置,或者調整圖層層級。

它是怎麼把圖片拆開的

ReDesign 的核心思路是把整張圖片當成一棵圖層樹的根節點,通過多模態智慧體由粗到細、一層層往下拆解,直到每個葉子節點都是單一且可編輯的基本元素。

負責指揮的是一個 VLM 控制器,它會先觀察當前區域,然後在五種工具動作裡挑一個來執行。

如果識別到文字,它會呼叫 PaddleOCR、字型識別、Hi-SAM 和 LaMa 補全演算法,把文字剝離成可編輯文本層並把背景補好。如果畫面包含多個疊放層,它會呼叫 Qwen-Image-Layered 拆出按 z-order 排列的 RGBA 圖層。遇到離散的小元素,它用連通域分析拆分;面對複雜主體,則用 GroundingDINO 結合 SAM 2 進行定位分割與修補。最後的向量形狀,還會通過 VTracer 轉化成向量路徑,照片則保留為柵格點陣圖。

每完成一次拆分,系統內建的驗證模組都會檢查結果。如果發現拆分無效或生成了重複分支,就會及時剪枝或換個工具重試,避免錯誤一層層累積。

部署門檻與硬體要求

專案程式碼和評估基準已經在 GitHub 上公開,基準資料集 Figma-909 包含 909 個真實設計畫框,按 CC BY 4.0 協議分發。

跑起來的主要硬體開銷在影像層解構模型上。Qwen-Image-Layered 在 bf16 精度下大概需要 55 GB 視訊記憶體,其中包含約 39 GB 的模型主體和約 16 GB 的文本編碼器。

如果你手頭有 80 GB 視訊記憶體的顯示卡可以直接單卡跑;如果是 40 GB 顯示卡可以用兩張做分片,24 GB 視訊記憶體的顯示卡則需要四張。至於 SAM 2、GroundingDINO 等視覺工具,另外需要 10 到 16 GB 視訊記憶體,視訊記憶體足夠時也可以和主模型共用一張卡,PaddleOCR 則直接執行在 CPU 上。

另外,負責統籌決策的控制器通過標準介面呼叫。官方預設配置了 gemini-3-flash-preview,只需要在配置檔案裡填入 API Key 就能跑。你也可以隨意切換成 OpenAI 官方介面、中轉閘道器或者本地用 vLLM 部署的開源大模型。

為什麼重要

如果你經常需要處理歷史遺留的設計稿、競品截圖,或者經常遇到原始檔丟失只能對著點陣圖硬改的情況,ReDesign 值得立刻關注。它不是簡單地把整張圖丟給擴散模型重繪,而是老老實實還原出真實的文本框、向量路徑和圖層順序,這才是設計師真正能拿來幹活的格式。

我們認為,ReDesign 最聰明的地方在於它沒有試圖訓練一個大包大攬的單體模型,而是用智慧體把現有最頂尖的專用模型串聯了起來。文字識別交給 PaddleOCR,主體分割交給 SAM 2,複雜圖層交給 Qwen-Image-Layered,最後再用大模型負責排程和質檢。根據官方在 Figma 和 Crello 資料集上的基準測試,這種協同方案的效果明顯優於單獨使用單一圖層生成器。

不過門檻也很現實:跑完整流程對多卡算力的要求較高,更適合有伺服器資源的設計團隊、二次開發團隊或自動化管線,個人在輕薄本上很難單機跑通全部本地權重。

來源 (2)

  1. [1]
    github.com(在新分頁開啟)原文github.com
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選