Sakana AI 推出浮世繪影像模型:文生圖還原江戶風,黑白版畫一鍵上色
Sakana AI 推出兩款專注於傳統浮世繪的影像生成模型 Evo-Ukiyoe 與 Evo-Nishikie。前者可由文本生成江戶浮世繪風格影像,後者能為單色古籍版畫自動上色,兩者均基於立命館大學逾 2.4 萬件標註作品微調。模型目前已在 Hugging Face 開源,僅支援日語提示詞。

Sakana AI 開源了兩款專注於日本傳統浮世繪藝術的影像生成模型 Evo-Ukiyoe 與 Evo-Nishikie,能讓你用日語文字直接生成江戶時代的木版畫,或者給百年前的單色古籍版畫自動上色。
兩款模型各司其職。Evo-Ukiyoe 負責文生圖,只要輸入櫻花、和服或飛鳥等浮世繪常見元素,就能生成韻味純正的江戶風畫作。如果你讓它畫漢堡或筆記型電腦這種古人沒見過的東西,它也會嘗試把現代物品畫成浮世繪,不過團隊也坦白,畫現代題材時偶爾會徹底翻車、完全不像浮世繪。
另一款 Evo-Nishikie 則是圖生圖的上色工具。它的用法是輸入一張單色版畫線稿,再配上一句關於畫面元素的文字說明,模型就會給黑白插畫填上多色錦繪風格的色彩,甚至能為已有的彩色版畫重新換一套配色風格。
它是怎麼做到的
這兩款模型並不是從頭訓練的底座,而是站在開源生態肩膀上的垂直微調。
底座部分使用了 Sakana AI 自研的 Evo-SDXL-JP,那是他們用模型進化合並技術,把 Stability AI 的 SDXL 和其他開源擴散模型融合而成的產物。
微調的關鍵在於高質量資料。團隊聯合京都立命館大學藝術研究中心(ARC),拿到了館藏數字檔案中超過 2.4 萬件經過精細打標的浮世繪作品。資料集涵蓋了整幅全景、人物特寫以及色彩絢麗的多色錦繪。
在技術路線上,文生圖的 Evo-Ukiyoe 採用了 LoRA 權重微調,而負責上色的 Evo-Nishikie 則是在 Evo-Ukiyoe 的基礎上通過固定提示詞與條件影像訓練的 ControlNet。
怎麼獲取與使用限制
目前兩款模型、推理程式碼和 LoRA 權重都已經上傳到 Hugging Face,倉庫內的 Python 指令碼和權重檔案均採用 Apache 2.0 許可證開放。
不過上手前需要注意幾個限制。首先,模型目前只支援日語提示詞,輸入其他語言無法保證生成效果。
其次,Sakana AI 明確將它們定義為實驗性質的研發原型,僅供研究探索使用,不建議用於商業專案或對穩定性要求極高的生產環境。
為什麼重要
通用文生圖模型雖然也能通過提示詞模仿浮世繪,但往往只是機械地套上一層線條濾鏡,缺少真正木版水印的構圖張力與色彩肌理。對於數位人文研究者、歷史教育工作者或古典文獻整理者來說,這套工具提供了一種極低門檻的古籍活化方式,直接把塵封在博物館裡的黑白版畫變成了鮮活的彩色視覺資源。
這也是文化垂直模型一個很聰明的落地方向。比起燒大錢硬卷通用底座,利用高校權威檔案結合 LoRA 與 ControlNet 做精細微調,小團隊也能在極細分的文化賽道里做出通用模型完全無法企及的專業水準。
來源 (1)
- venturebeat.com(在新分頁開啟)原文venturebeat.com