本文へスキップ
IFAI

オープンソース

オープンモデル「LLaDA-Image」:6B単一モデルで画像生成と編集を両立

公開 拡散指数 48

inclusionAIは画像生成と指示ベースの画像編集を単一チェックポイントで処理する6Bパラメータモデル「LLaDA-Image」をオープンソース公開しました。日英テキスト描画に対応し、4ステップで動作する高速版TurboやComfyUI対応も用意されています。

オープンモデル「LLaDA-Image」:6B単一モデルで画像生成と編集を両立
画像:github.com

LLaDA-Imageは、高品質なテキストからの画像生成と指示ベースの画像編集を、単一の60億(6B)パラメータモデルに統合したオープンソースツールです。

これまで、画像をゼロから生成するモデルと既存の画像を編集するパイプラインは分かれており、外部の制御ネットワークを追加するのが一般的でした。inclusionAIが公開したこのモデルは、1つのチェックポイントだけで生成、編集、そして中英テキストの描画まで完結させます。

何ができるのか

LLaDA-Imageは日常的なクリエイティブ作業に必要な機能を幅広くカバーしています。

テキストからの画像生成では、自然な陰影や質感の高い描写を得意としており、ポスターやインフォグラフィックスに必要な中英バイリンガルテキストの直接描画にも対応しています。

編集機能も実用的です。元画像と指示プロンプトを入力するだけで、構図を維持したまま表情やポーズの変更、特定オブジェクトの差し替え、画像内テキストの打ち替え、白黒写真の着色などが行えます。

ベンチマークのQwen-Image-Benchでは、英語で53.53、中国語で53.38の総合スコアを記録しました。

モデルは2種類用意されています。品質を重視して50ステップでサンプリングを行うBaseモデルと、Twin-DMD蒸留によってわずか2〜4ステップでの生成を可能にした高速版のTurboモデルです。

動かし方と必要なスペック

ローカル環境での動作ハードルはかなり低めに抑えられています。

Hugging FaceおよびModelScope上でBF16とFP8の両フォーマットが配布されています。TurboのFP8版トランスフォーマーモデルは約6.7GBに収まっており、一般的なコンシューマー向けGPUでも無理なく動作します。

実行環境にはPython 3.11、PyTorch 2.8、Diffusers 0.39.0が必要です。画像サイズは通常生成で16の倍数、画像編集モードでは32の倍数に設定する必要があります。

コードを書かずに使いたいユーザー向けには、9月7日にコミュニティによってComfyUIカスタムノード対応が追加され、FP8モデルをそのままノード上で扱えるようになっています。推論コードと重みは即座に利用可能で、学習コードも追って公開される予定です。

なぜ重要か

個人開発者やクリエイターにとって、LLaDA-Imageはローカルワークフローを大幅に簡素化してくれる選択肢です。生成用と編集用で重いモデルを複数ロードする必要がなく、約6.7GBのFP8モデルと4ステップのTurbo構成を使えば、手元のグラフィックボードで高速に試行錯誤を回せます。

生成と編集を同一の拡散モデルフレームワークに統合したアプローチは非常に合理的です。完全な学習レシピの公開待ちという点は残るものの、日常的な画像生成と部分編集を1本化したい人にとって、今すぐ試す価値のある軽量モデルと言えます。

情報源 (1)

  1. [1]
    github.com(新しいタブで開きます)原文github.com

毎日のAIピックアップ