跳到正文
IFAI

開源專案

ASASR:基於 FLUX 的影像超分工具,4 倍放大且不生幻覺細節

首次發布 傳播指數 48

ASASR 是一款開源影像超解析度工具,基於 FLUX.1-dev 實現 4 倍高畫質重建,重點解決傳統生成式放大中憑空捏造細節與偽影的問題。它採用對齊頻域結構的對抗 DPO 最佳化,提供雙 LoRA 推理方案。目前程式碼與權重已開源,並在 Hugging Face 上線了線上 Demo。

ASASR:基於 FLUX 的影像超分工具,4 倍放大且不生幻覺細節
圖:github.com

ASASR 是一個基於 FLUX.1-dev 的開源影像超解析度工具,能把模糊低清的圖片放大 4 倍,同時儘可能壓制生成式放大器經常出現的瞎編細節和奇怪偽影。

以往用擴散模型做超解析度,畫面雖然看起來銳利,但模型往往會自己腦補出原本不存在的紋理,導致文字扭曲、人臉或物體結構走樣。ASASR 解決的正是這個痛點,它在提升清晰度的同時,讓影像的文字識別和分割邊緣更加可靠。

它是怎麼做到的

ASASR 的底層思路是把擴散模型的去噪過程和高頻真實結構對齊,官方稱之為對抗索伯列夫對齊。

技術細節聽起來很複雜,說白了它做了兩件事。一是引入帶譜特性的彩色噪聲流,讓噪點分佈更貼近真實影像,而不是盲目使用均勻的高斯噪聲。二是採用對抗對抗流形引導,專門訓練一個對抗網路去模擬競品超分模型容易產生的偽影,現場生成難纏的負樣本,再通過頻域加權的 DPO 偏好對齊進行糾偏。

在推理階段,它使用雙 LoRA 方案。一個基礎的 SR LoRA 負責提供超解析度的畫質先驗,大小約 885 MB;另一個約 111 MB 的 DPO LoRA 則專門負責修飾細節並壓制偽影,兩者配合 FLUX 底座一起工作。

在基準測試中,ASASR 在 DIV2K-Val 的 Real-ESRGAN 4 倍測試上拿到了第一,在 RealSR 榜單上也排進前三。

硬體要求與怎麼體驗

如果你想在本地跑它,門檻主要來自 FLUX 底座。

整個推理流程需要載入大約 24 GB 的 FLUX.1-dev 基礎權重,外加兩個總計約 1 GB 的 LoRA 權重。程式碼基於 Python 3.10、PyTorch 2.x 以及 diffusers 0.30 以上版本,推理時支援 BF16 混合精度。官方在單張 A100 上測試示例圖片大約耗時 1 分鐘。

如果你不想折騰本地環境,最簡單的辦法是直接去 Hugging Face Spaces。開源團隊已經上線了網頁版 Demo,上傳一張低清圖片就能直接跑出 4 倍放大的結果。

需要注意的是,目前公開發布的權重主要針對 4 倍放大進行了訓練,預設輸入為 128 解析度、輸出 512 解析度。另外,專案遵循 CC-BY-NC-4.0 許可證,目前僅供非商業研究使用。

為什麼重要

對於經常處理老照片修復、老素材增強的創作者和開發者來說,ASASR 非常值得一試。以前像 SUPIR 這樣的工具雖然細節拉滿,但遇到文字、標誌或精密紋理時極容易畫蛇添足;ASASR 在保持真實結構和提高畫質晰度之間找到了更好的平衡。

不過,把 FLUX 這樣龐大的文生圖模型搬來做超解析度,計算開銷依舊居高不下。它很適合對質量和真實度要求極高的離線修圖場景,但如果想做成即時或輕量化的影像服務,目前視訊記憶體和算力門檻依然是一個不小的包袱。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選