NVIDIA、ビフォーアフター画像で見本を示す画像編集手法「LoRAWeave」を発表

AI画像編集で思い通りのタッチを再現しようとすると、プロンプトの調整だけで膨大な時間を取られがちです。「クレイアニメ風」「建築スケッチ調」などと言葉をどれだけ重ねても、モデルが意図通りの質感を拾ってくれるとは限りません。

NVIDIAの研究チームは「LoRAWeave」と呼ばれる新たな画像編集アプローチを発表しました。言葉で指示するのではなく、お手本のビフォーアフター画像を見せることでスタイルを学習させる手法です。

言葉ではなく「3枚の画像」でお手本を示す

従来の画像参照型ツールは単一の参考画像を使うことが多いですが、LoRAWeaveは合計3枚の画像を入力として受け取ります。

最初の2枚は加工例のペアです。1枚目が「編集前」、2枚目が「編集後」を示します。そして3枚目に、実際に加工したい対象画像を与えます。

モデルは、1枚目から2枚目へどのような変化が起きたかを分析し、その変換ルールを抽出して3枚目の画像へとそっくりそのまま適用します。

たとえば、「写真 → 建築スケッチ」のペアを提示して新しい街並みの写真を渡せば、同じ手描きスケッチ風に変換されます。「野鳥の写真 → ジブリ風イラスト」を見せれば飼い猫の写真をジブリ風に仕立て直してくれますし、「人物写真 → 粘土細工風」のペアを与えれば別の人物も忠実にクレイ調に変えられます。

用意する画像は増えますが、プロンプトの曖昧さに頼らない分、仕上がりの安定感は格段に向上します。

LoRAの基底を組み合わせて未知の加工に対応

お手本からルールを学ぶ「視覚的類推」という発想自体は以前からありましたが、未知の加工に対する汎化性能が課題でした。

従来の手法では単一のLoRAモジュールにすべての変換パターンを無理やり詰め込もうとしていたため、表現のキャパシティが制限されていました。

そこでLoRAWeaveは、複数の変換要素を表現できる「学習可能なLoRA基底」を用意する構造を採用しました。

さらに軽量なエンコーダーを組み合わせることで、入力されたビフォーアフターのペアを解析し、単一の推論パスの中で各LoRA基底の重みを動的に決定します。その場でタスク専用の重みを調合して合成するため、学習時に見たことがない編集パターンにも柔軟に対応できるようになりました。

なぜ重要か

言葉による指示には限界があるという画像編集の根本的なボトルネックに対し、視覚そのもので指示を出すアプローチは非常に合理的だと考えられます。

デザイナーやクリエイターにとって、微妙なトーンカーブの調整や絵の具の滲み、特定の画風の筆致などは、プロンプトで表現するのが極めて難しい領域でした。手元にある過去の作例を2枚並べるだけで同等の加工が再現できるなら、制作現場の実用性は一気に高まります。

また、生成AIの操作インターフェースとしても示唆に富んでいます。テキストを介さず「画像によるデモンストレーション」をそのまま命令として解釈させる流れは、今後のマルチモーダルモデルの標準的な機能になっていく可能性があります。

もちろん、綺麗に対応するビフォーアフターのペア画像があらかじめ必要になるというハードルは残ります。ただ、一度テンプレートを作ってしまえば作業を確実に自動化できるため、定型的なスタイル変換を多用する現場にとっては非常に魅力的な選択肢になりそうです。