Stability AIが「DeepFloyd IF」公開：画像内の文字描画が劇的進化

DeepFloyd IFは、Stability AIとその研究部門DeepFloydが公開したカスケード型ピクセル拡散モデルだ。これまでの画像生成AIが最も苦手としていた「画像内への明瞭な文字描画」をこなせる点が最大の売りになっている。

従来のモデルでは看板やラベルの文字が崩れて読めないことが日常茶飯事だったが、DeepFloyd IFはプロンプトで指示した英単語を鮮明に配置し、複数オブジェクトの位置関係も破綻なく描き分ける。

何ができるのか

DeepFloyd IFは、テキストの指示に忠実な描写と高いリアリズムを両立している。COCOデータセットにおけるゼロショットFIDスコアは6.66を記録しており、主要なオープンモデルの中でもトップクラスの画質を示している。

正方形の画像だけでなく、横長や縦長といった非標準のアスペクト比にもネイティブで対応する。

さらにゼロショットのImage-to-Image機能も備えている。元画像を64ピクセルに縮小してノイズを加え、新しいプロンプトで逆拡散を行うことで、構図を保ったまま画風を変えたり部分修正を行ったりできる。追加ファインチューニングは不要だ。

どう動いているのか

仕組みの上で最大の特徴は、潜在空間で拡散を行うStable Diffusionとは異なり、ピクセル空間で直接拡散処理を行うカスケード構造を採用している点だ。

全体のパイプラインはモジュール化されている。まずベースモデルが64ピクセルの低解像度画像を生成し、その出力を後続の超解像モデルが段階的に高解像度へと引き上げる。

テキスト理解の要には、大規模言語モデル「T5-XXL-1.1」をエンコーダとして組み込んだ。豊富なテキスト画像クロスアテンション層を組み合わせることで、プロンプトの細かなニュアンスを生成画像へダイレクトに反映させている。

学習にはLAION-5Bから抽出した10億ペアの高品質サブセット「LAION-A」を使用した。類似ハッシュによる重複排除に加え、ウォーターマークや不適切なコンテンツを独自フィルターで徹底的に除去している。

ライセンスと試し方

現在は非商用の研究ライセンスで公開されている。コードはGitHubで閲覧でき、モデルの重みはHugging Face上で利用規約に同意することで取得できる。

手元に実行環境がない場合でも、Hugging Face Spacesに用意されたGradioデモを使えばブラウザ上で試すことが可能だ。Stability AIはフィードバックを踏まえ、将来的には完全なオープンソースとして再公開する方針を示している。

なぜ重要か

画像内の文字崩れとプロンプト無視は、クリエイターが画像生成AIを実務に使う上での最大の壁だった。言語モデルのT5-XXLをそのまま組み合わせるというアプローチは、この課題を正面からねじ伏せられることを証明している。

一方で、ピクセル拡散と巨大言語モデルの組み合わせは、従来の潜在拡散モデルに比べてマシンリソースの要求が高い。商用利用が解禁される前の今のうちに、文字入りのグラフィック生成や構図制御の精度を試しておきたい開発者にとって、触っておく価値の高いベースモデルだ。