跳到正文
IFAI

AI工具

FreeFuse 釋出:疊再多 LoRA 也不打架,多角色多道具共存不串臉

首次發布 傳播指數 64

FreeFuse 推出免訓練框架,專門解決同時疊多個 LoRA 時畫風覆蓋、角色串臉和細節崩潰的問題。它利用自適應 token 級路由動態分配區域,在 SDXL 與 Zimage 上大幅改善了一致性,目前已支援 ComfyUI 執行。

FreeFuse 釋出:疊再多 LoRA 也不打架,多角色多道具共存不串臉
圖:arxiv.org

玩 AI 生圖的朋友都知道,疊 LoRA 就像走鋼絲。想讓兩個特定角色同框,順便帶個專屬道具或指定畫風,畫面往往直接翻車:不是兩人臉串在一起,就是畫風互相汙染,生成一堆不可名狀的畸形結構。

免訓練框架 FreeFuse 就是衝著這個痛點來的。它的目標很簡單:讓你在一個畫面裡放心塞進多個 LoRA,不管是多角色還是多道具,大家各司其職,互不干擾。

讓每個 LoRA 各佔各的地盤

過去疊加 LoRA 沒有太好的無損方案,多套權重硬疊在一起,底層特徵容易互相打架。

FreeFuse 採用了一套自適應 token 級路由(adaptive token-level routing)技術。簡單來說,它會在生成過程中動態判斷每個物件 token 應該落在哪個畫面區域,把對應 LoRA 的影響力精準限制在各自的地盤上,避免彼此覆蓋。

從官方給出的測試來看,在 SDXL 和 Zimage 上,不加控制的畫面經常臉部變形亂飛,而加上 FreeFuse 之後,多角色的特徵一致性有了肉眼可見的改善。

該工具目前已經發布,原生支援 ComfyUI,並且可以在其中執行 Zimage Turbo。團隊還計劃在未來接入 Flux 2 客戶端。

為什麼重要

對創作者和工作流搭建者來說,這省去了大量繁瑣的區域性重繪和分層生圖成本。如果不用專門二次訓練就能在生圖階段穩住多 LoRA 結構,複雜場景的產出效率會大幅提高。

我們認為,FreeFuse 最聰明的地方在於「免訓練」思路。它沒有試圖去重新訓練一個大一統的融合網路,而是把精力放在推理時的注意力路由上,極大地降低了玩家的使用門檻。不過它依賴區域動態分配,在角色或道具極度重疊的超密集互動場景下表現如何,還有待更多實測驗證。

來源 (3)

  1. [1]
  2. [2]
  3. [3]

每日 AI 內容精選