Stability AIが新機能公開、プロンプト不要で画像から無限にバリエーション生成

部屋の模様替え案を見たいときや、洋服のスタイリングの別パターンを試したいときに、長々とした英語プロンプトを考える作業に疲れていた人には朗報です。

Stability AI は、画像からプロンプト不要で無制限にバリエーション画像を生成できる新ツール「Stable Diffusion Reimagine」を Clipdrop 上で公開しました。

テキストを一行も入力することなく、元画像を1枚アップロードするだけで、その画像からインスピレーションを得た別バージョンの画像が次々と生成されます。

ピクセルを1つもコピーしない仕組み

これまでの画像から画像を生成する機能（img2img）と何が違うのかというと、内部のアルゴリズムが根本から作り直されています。

従来の Stable Diffusion はテキスト入力を条件として画像を生成するため、テキストエンコーダーを使っていました。今回の Reimagine では、そのテキストエンコーダーを画像エンコーダーに置き換えています。

元画像全体をまず画像エンコーダーで特徴量に変換し、そこにノイズを加えることで構図やディテールの異なる類似画像を作り出します。

Stability AI によると、生成器は元画像のピクセルを1つも直接利用していません。既存の画像を加工するのではなく、元画像の要素を学習・解釈したうえで、完全にゼロから新しい絵を描き起こしている格好です。

なお、Clipdrop にはアップスケーラーも備わっており、生成した画像の解像度や細部のディテールを少なくとも2倍に引き上げることも可能です。

偶然性に頼る限界とリスク

プロンプトが要らない手軽さの反面、まだ思い通りにいかない部分も残されています。

Stability AI も認めている通り、元の画像によって驚くような素晴らしい結果が出ることもあれば、あまり見栄えのしない微妙な仕上がりになることもあります。

不適切なリクエストを遮断するフィルターも組み込まれていますが、誤検知や検知漏れが起きる可能性はゼロではありません。モデルの出力に偏りや異常な挙動が出ることもあり、ユーザーからのフィードバックを募っている段階です。

なお、この Reimagine のモデルは近日中に Stability AI の GitHub 上でオープンソースとして公開される予定です。

なぜ重要か

この機能の最大の価値は、プロンプトの専門知識がなくても直感的にアイデア出しができる点にあります。インテリアコーディネーターやアパレルの企画担当者が、手元にある写真から手軽にバリエーション案を何十パターンも広げていくような用途にはうってつけです。

また、元画像のピクセルを一切使用していないと公式が強調している点は、昨今の著作権や学習データを巡る議論において法的なリスクを回避するための布石と見ることができます。

一方で課題はコントロール性の低さです。テキストで細かく指示できないため、「壁の色だけ変えたい」「この家具の配置は固定したい」といった微調整が一切効きません。現状では完成品を作るツールというよりは、企画初期のインスピレーション抽出ツールとして割り切って使うのが賢い選択と言えそうです。