Nvidia、容量わずか100KBの画像生成調整手法「Perfusion」発表　学習は4分で完了

自分の飼い猫や特定の家具をAIに正確に描かせようとすると、これまでは大量の追加学習データとギガバイト単位のストレージが必要でした。

Nvidiaとイスラエルのテルアビブ大学の研究チームは、わずか100KBのサイズと約4分の学習時間で動作するテキスト画像生成の個別化手法「Perfusion」を発表しました。フロッピーディスク1枚に収まる軽さです。

「Key-Locking」で過学習を防ぐ

AI画像生成で特定の物体を追加学習させると、元の写真をそのまま丸暗記してしまう過学習が起きがちです。その結果、指定したポーズ以外では描けなくなったり、新しい背景になじまなくなったりします。

Perfusionが導入したのが「Key-Locking」と呼ばれる仕組みです。ユーザーが追加したい特定の被写体を、生成過程で「猫科の動物」のような一般的な上位概念と結びつけます。

これにより、ベースモデルが持つ猫らしい多様なポーズや環境の知識を生かしたまま、指定した猫ならではの見た目の特徴だけをしっかり維持できます。昼寝をさせたり花を嗅がせたりといった自由なプロンプト指示が破綻せずに通るようになります。

さらに、特定の猫と特定の椅子のように、複数の個別化された概念を1枚の画像の中で自然に組み合わせて描かせることも可能です。

100KBが数GBのモデルに対抗する理由

現在普及している微調整手法と比べると、この100KBという数字の異常さがよく分かります。

Stable Diffusionで人気のLoRAは数十MBから1GB以上になり、精度の高いDreamboothに至っては2GBを超えます。Textual Inversionは軽量ですが、再現精度で見劣りすることが少なくありません。

Perfusionはモデル全体を書き換えるのではなく、生成に真に必要な部分だけをピンポイントで更新するため、極限の軽量化を実現しています。

また、推論時にモデルを再学習することなく、元画像への忠実度とプロンプトへの追従度のバランスをスライダー感覚で調整できる機能も備えています。

Nvidiaによると、編集効率の面でStable Diffusion v1.5やSDXL、MidJourneyなどで用いられる微調整手法を上回る結果を示しているとのことです。現時点では論文の公開のみで、コードは近日公開予定とされています。

なぜ重要か

画像生成AIをサービスに組み込もうとする開発者にとって、最大の頭痛の種はユーザーごとの追加学習モデルの保管コストでした。

数GBもあるモデルをユーザーごとにサーバーへ保持するのは非現実的です。しかし100KBであれば、スマートフォンのローカルストレージや手軽なAPI通信で瞬時に読み込めるようになります。クリエイターにとっても、自分専用の画風やキャラクタを何百個も手軽にストックできる実用性があります。

ハードウェアで圧倒的なシェアを持つNvidiaが、モデルの軽量化と高効率化というアルゴリズムの急所を突いてきた点は非常にスマートだと考えられます。巨大な基底モデルのパワーゲームとは別の、現場の実用性に直結するアプローチです。

気になるのは、まだコードが手元で試せない点です。論文通りの汎用性が複雑な被写体でも再現できるのか、オープンソースコミュニティによる検証を待つ必要がありますが、個別化AIの常識を塗り替える可能性を秘めています。