Sakana AI、浮世絵特化の画像生成モデル「Evo-Ukiyoe」などを公開

Sakana AIは、日本の伝統的な浮世絵の生成と着色に特化した2つの画像生成モデル「Evo-Ukiyoe」と「Evo-Nishikie」をオープンソースとして公開した。日本語のテキストから江戸時代の浮世絵風画像を生成したり、古書の単色版画を自動で多色摺りの錦絵風に着色したりできる。

2つのモデルは役割が分かれている。Evo-Ukiyoeはテキストから画像を生成するモデルで、着物や桜、鳥といった浮世絵の定番要素を指定すると本格的な作風を出力する。ハンバーガーやノートパソコンといった当時は存在しなかった現代の物を描かせることも可能だが、開発元によれば浮世絵から大きく外れた絵になってしまうこともあるという。

もう一方のEvo-Nishikieは画像から画像を生成する着色モデルだ。モノクロの古書挿絵と着色指示プロンプトを入力することで、単色刷りの版画に豊かな色彩を与えられる。すでに着色されている錦絵の色味を刷新する用途にも使える。

仕組みと学習データ

ベースとなったのは、Sakana AIがStability AIのSDXLなどを独自の手法でマージして開発したEvo-SDXL-JPだ。

学習には京都の立命館大学アート・リサーチセンター（ARC）との連携により提供された、2万4000点を超えるデジタルアーカイブ画像が使用されている。全身図から顔のクローズアップ、色彩豊かな多色摺り錦絵まで幅広く網羅されたデータだ。

Evo-Ukiyoeはこのアーカイブ画像を用いてLoRAで微調整されている。そして着色モデルのEvo-Nishikieは、Evo-Ukiyoeをベースに固定プロンプトと条件画像を用いたControlNetを追加学習させることで構築された。

入手方法と利用時の制約

モデル本体、推論用Pythonスクリプト、LoRAウェイトはHugging Face上で公開されており、Apache 2.0ライセンスで利用できる。

利用にあたっての制約として、プロンプトは現在日本語のみに対応している点に注意が必要だ。

また、Sakana AIは本モデルを研究開発目的の実験的プロトタイプと位置づけており、商用利用やミッションクリティカルな用途は想定されていない。

なぜ重要か

一般的な画像生成AIでもプロンプト次第で浮世絵風の絵は出せるが、構図の様式美や伝統的な木版画の質感までは再現しきれないことが多い。人文学の研究者や教育関係者、クリエイターにとって、大学所蔵の貴重なアーカイブに基づいて学習された特化モデルが無償で手に入る意義は大きい。

また、巨大な汎用モデルの開発競争に正面から挑むのではなく、文化的なアーカイブとLoRAやControlNetを組み合わせて特定分野を極めるアプローチの有効性を示した点でも、小規模なAI開発における好例といえる。