SpatialEdit 开源:精准移动物体与转动相机视角,权重与数据全公开
图像空间编辑模型 SpatialEdit 宣布开源,权重与训练数据全部公开。它不仅能微调画面中物体的精确位置与朝向,还能直接控制相机的偏航、俯仰与缩放视角。最关键的是,它在空间基准测试中表现亮眼,不过 32GB 的模型权重需要高端 GPU 才能跑起来。

平时用 AI 帮照片做后期,最让人抓狂的就是空间调整。只要你提出「把这只狗往右移两公分」或者「镜头抬高一点俯拍」,现有的大多数图像模型基本上是把整张图重新画一遍,结果狗变了样,背景的透视也彻底穿帮。
图像空间编辑模型 SpatialEdit 宣布完全开源。它专门对付这种涉及几何变换的硬骨头,让用户能像在 3D 软件里摆弄镜头一样,直接微调 2D 照片里的物体与视角。
把 3D 软件的规矩教给 2D 扩散模型
以往往往缺乏精准带标注的空间编辑数据。这次研究团队为了破局,先用 3D 渲染软件 Blender 搭建了一套可控管线,生成了包含 50 万条数据的合成数据集 SpatialEdit-500k。
这个数据集给不同的物体和系统的相机运动轨迹提供了极其精准的真实位移数据,无论是物体的朝向还是相机的推拉摇移,都有明确的几何真值。
在此基础上训练出的 SpatialEdit-16B 基线模型,可以直接在操作界面上调整物体的绝对位置和角度,还能精细调节相机的偏航(yaw)、俯仰(pitch)和变焦缩放。
在配套推出的 SpatialEdit-Bench 空间评测基准中,该模型在物体放置与相机控制的几何保真度上,全面超越了 nano banana 和 cradedit 等竞争对手。此前 Qwen Image Edit 虽然有专门的 LoRA 尝试解决类似问题,但从实际评测来看,SpatialEdit 在平均表现上明显更加胜任这种高精度几何任务。
训练数据连同权重全给,但门槛不低
让人惊喜的是开发团队开放的彻底程度。他们不仅放出了代码,还将这套 50 万条规模的 SpatialEdit-500k 训练数据,以及完整的模型权重全部公开发布。
只要去对应的开源页面,就能找到在本地部署并运行这套系统的完整说明。
不过想要在本地跑起来并不轻松。根据实际下载页面显示,该模型的权重文件体积大约为 32GB。
这意味着它对硬件有相当高的要求,你需要一块显存充裕的较高端 GPU 才能在本地把它顺利拉起来。
为什么重要
我们认为,SpatialEdit 最聪明的地方,在于它放弃了用模糊的自然语言提示词去硬碰精细几何,而是用 Blender 合成数据给扩散模型补上了真正的空间坐标系。
对于需要精确构图的电商设计、概念艺术创作者来说,以往哪怕改动一点透视都要在 Photoshop 或 3D 引擎里重新建模渲染。如果能把相机和物体的几何控制稳定在 2D 层面,工作流效率会带来质的飞跃。
对整个图像编辑生态而言,它标志着文生图技术正在从「看天吃饭的盲盒抽卡」,向工业级可用的「参数化编辑」演进。同行们接下来很可能都会跟进这种利用 3D 渲染管线为 2D 模型提供物理真值监督的训练路线。
当然它的局限性也很明确。约 32GB 的庞大体量把大部分没有高端显卡的普通玩家挡在了门外;完全基于 Blender 生成的数据在面对复杂的极端真实光影时泛化能力如何,也还需要更广泛的检验。但无论如何,能把核心权重与训练数据毫无保留地全拿出来,已经为开源社区树立了极具价值的范本。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org