ByteDance、画像生成の「左右・前後」を正しく配置する空間報酬モデルを発表

ByteDance の研究チームは、画像生成モデルが「左右」や「前後」の位置関係を取り違える弱点を克服する空間報酬モデリングフレームワークを発表しました。プロンプトで細かく位置を指定しても配置が崩れ、何度もガチャを引き直していた人にとって待望の技術です。

何ができるのか

最新の画像生成モデルは描画力こそ高いものの、複数の物体が入り組んだ空間指示には滅法弱いのが現状です。

たとえば、食卓の上に左から背の高い順に 3 本の蝋燭を並べ、中央の蝋燭の後ろにフルーツボウルを置き、左右の蝋燭の前に皿を並べ、背後の壁の絵画をボウルの中央に合わせるといった複雑な指示を出した場合、ベースの Flux では位置関係が崩れてしまいます。

今回の手法を導入すると、モデルは指定された位置関係を正確に認識し、指定通りの配置で画像を生成できるようになります。アームチェア、丸テーブル、フロアランプ、ティーカップの位置関係や、車、三角コーン、リュック、水筒の並び順などでも同様に正確な配置が確認されています。

仕組みと公開状況

研究チームは巨大な基盤モデルをゼロから再学習させるのではなく、報酬モデルを用いたアプローチを採用しました。

まず、8 万組以上の正誤ペアを含む「SpatialReward-Dataset」を構築しました。同一プロンプトに対して正しい画像と、位置関係を意図的に改変した誤った画像を用意しています。

このデータを用いて空間関係専用の評価モデル「SpatialScore」を学習させました。論文によると、空間配置の評価精度において既存の主要な商用モデルを上回るスコアを記録しています。

さらにこの SpatialScore を使ったオンライン強化学習によって、画像生成時の配置ミスを段階的に修正していきます。チームはすでに論文を公開しており、データセットとモデルの重みも近くオープンソースとして公開する予定です。

なぜ重要か

画像生成の品質競争は一巡し、実務やデザイン制作では構図や配置の正確さが求められる段階に入っています。どれほど美麗でも、配置が狂っていればボツになるからです。

基盤モデル全体を作り直すのではなく、軽量な空間判定モデルと強化学習でピンポイントに弱点を補強するアプローチは非常に合理的です。重みが公開されれば、Flux などのローカル環境で無駄な再生成を減らしたいクリエイターにとって定番の拡張ツールになると見ています。