SpatialEdit 開源:精準移動物體與轉動相機視角,權重與資料全公開
影像空間編輯模型 SpatialEdit 宣佈開源,權重與訓練資料全部公開。它不僅能微調畫面中物體的精確位置與朝向,還能直接控制相機的偏航、俯仰與縮放視角。最關鍵的是,它在空間基準測試中表現亮眼,不過 32GB 的模型權重需要高階 GPU 才能跑起來。

平時用 AI 幫照片做後期,最讓人抓狂的就是空間調整。只要你提出「把這隻狗往右移兩公分」或者「鏡頭抬高一點俯拍」,現有的大多數影像模型基本上是把整張圖重新畫一遍,結果狗變了樣,背景的透視也徹底穿幫。
影像空間編輯模型 SpatialEdit 宣佈完全開源。它專門對付這種涉及幾何變換的硬骨頭,讓使用者能像在 3D 軟體裡擺弄鏡頭一樣,直接微調 2D 照片裡的物體與視角。
把 3D 軟體的規矩教給 2D 擴散模型
以往往往缺乏精準帶標註的空間編輯資料。這次研究團隊為了破局,先用 3D 渲染軟體 Blender 搭建了一套可控管線,生成了包含 50 萬條資料的合成數據集 SpatialEdit-500k。
這個資料集給不同的物體和系統的相機運動軌跡提供了極其精準的真實位移資料,無論是物體的朝向還是相機的推拉搖移,都有明確的幾何真值。
在此基礎上訓練出的 SpatialEdit-16B 基線模型,可以直接在操作介面上調整物體的絕對位置和角度,還能精細調節相機的偏航(yaw)、俯仰(pitch)和變焦縮放。
在配套推出的 SpatialEdit-Bench 空間評測基準中,該模型在物體放置與相機控制的幾何保真度上,全面超越了 nano banana 和 cradedit 等競爭對手。此前 Qwen Image Edit 雖然有專門的 LoRA 嘗試解決類似問題,但從實際評測來看,SpatialEdit 在平均表現上明顯更加勝任這種高精度幾何任務。
訓練資料連同權重全給,但門檻不低
讓人驚喜的是開發團隊開放的徹底程度。他們不僅放出了程式碼,還將這套 50 萬條規模的 SpatialEdit-500k 訓練資料,以及完整的模型權重全部公開發布。
只要去對應的開源頁面,就能找到在本地部署並執行這套系統的完整說明。
不過想要在本地跑起來並不輕鬆。根據實際下載頁面顯示,該模型的權重檔案體積大約為 32GB。
這意味著它對硬體有相當高的要求,你需要一塊視訊記憶體充裕的較高階 GPU 才能在本地把它順利拉起來。
為什麼重要
我們認為,SpatialEdit 最聰明的地方,在於它放棄了用模糊的自然語言提示詞去硬碰精細幾何,而是用 Blender 合成數據給擴散模型補上了真正的空間座標系。
對於需要精確構圖的電商設計、概念藝術創作者來說,以往哪怕改動一點透視都要在 Photoshop 或 3D 引擎裡重新建模渲染。如果能把相機和物體的幾何控制穩定在 2D 層面,工作流效率會帶來質的飛躍。
對整個影像編輯生態而言,它標誌著文生圖技術正在從「看天吃飯的盲盒抽卡」,向工業級可用的「引數化編輯」演進。同行們接下來很可能都會跟進這種利用 3D 渲染管線為 2D 模型提供物理真值監督的訓練路線。
當然它的侷限性也很明確。約 32GB 的龐大體量把大部分沒有高階顯示卡的普通玩家擋在了門外;完全基於 Blender 生成的資料在面對複雜的極端真實光影時泛化能力如何,也還需要更廣泛的檢驗。但無論如何,能把核心權重與訓練資料毫無保留地全拿出來,已經為開源社群樹立了極具價值的範本。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org