2D画像内の物体とカメラ視角を自在に動かせる「SpatialEdit」が完全オープンソース化

AIで画像レタッチを試したことがある人なら、誰しも同じもどかしさを味わったことがあるはずです。「犬の位置を少し右にずらして」「カメラの視角をもう少し見下ろすアングルにして」と頼んだ瞬間、モデルは画像をゼロから描き直してしまい、犬の毛並みも背景のパースも別物になってしまいます。

こうした幾何学的な空間操作に特化した画像編集モデル「SpatialEdit」が完全オープンソースとして公開されました。2D写真でありながら、まるで3D空間のカメラを動かすかのような精密なコントロールを可能にしています。

2D拡散モデルに3Dの幾何学的ルールを教え込む

これまで空間編集が難しかった最大の原因は、精度の高い教師データの不足にありました。研究チームはこの問題を打破するため、3Dソフトウェア「Blender」を用いた制御可能なレンダリングパイプラインを構築し、50万件の合成データセット「SpatialEdit-500k」を作成しました。

背景や系統的なカメラ軌跡を組み合わせることで、物体中心およびカメラ中心の正確な幾何学的真値（グラウンドトゥルース）を学習させています。

このデータを基盤に開発されたのが「SpatialEdit-16B」です。操作画面からは画面内の物体の正確な位置や向きを指定できるほか、カメラのヨー（左右首振り）、ピッチ（上下傾き）、ズーム（拡大縮小）を精密に調整できます。

同時に公開された評価ベンチマーク「SpatialEdit-Bench」では、視点再構成と構図解析による評価において、nano bananaやcradeditといった既存手法を大きく上回る幾何学的忠実性を記録しました。Qwen Image Edit向けのLoRAなど先行する試みもありましたが、テスト結果を見る限り、このレベルの厳密な空間操作を安定してこなせるオープンモデルは現状SpatialEditが頭ひとつ抜けています。

コード・重み・データを全開放、ただし要求スペックは高め

今回の公開で特筆すべきなのは、その徹底したオープン性です。研究チームは推論コードだけでなく、50万件の学習用合成データ、そしてモデルの重みファイルに至るまですべてを一般公開しました。

公式ページには、自分のPCにダウンロードしてローカル環境で動かすための手順がすべて揃っています。

ただし、実際に導入するハードルは決して低くありません。ダウンロードするモデルの重みサイズは約32GBに達します。

手元のマシンで快適に動かすには、相応のVRAMを積んだハイエンドなGPUが必須となります。

なぜ重要か

SpatialEditが極めてスマートなのは、曖昧なテキストプロンプトで空間を理解させようとするのを諦め、Blenderによる合成データで拡散モデルに厳密な「空間座標系」を直接埋め込んだ点にあります。

プロダクト撮影やECサイトの画像編集、コンセプトアートの現場において、物体の角度やカメラアングルを微調整するために3Dツールで再レンダリングしたり、Photoshopで何時間も切り抜き作業をしたりしていたクリエイターにとって、2Dのまま精密にいじれる恩恵は絶大です。

業界全体にとっても、生成AIが「何が出るかわからないガチャ」から、現場で実用できる「パラメータ指定型の精密ツール」へと移行する決定的な一歩と言えます。

約32GBという重さゆえに一般ユーザーが気軽に試せない点や、Blender由来の合成データが複雑な実写環境のライティングでどこまで破綻せずに追従できるかといった課題は残ります。それでも、学習データから重みまで惜しみなく公開した開発姿勢は、オープンソースコミュニティにとって今後の標準となる価値ある一歩だと考えられます。