字节发布空间奖励模型：靠 8 万组对比数据，让 AI 摆对「前后左右」

字节跳动团队提出的空间奖励建模框架，专门用来解决文生图模型搞不清「前后左右」的硬伤。如果你经常用提示词指挥 AI 把某个物体放在左边、另一个放在后面，却总要反复抽卡才能碰对一次，这个项目就是为了解决这个麻烦。

它能解决什么问题

现在的文生图模型画质越来越精细，但只要提示词里的空间关系稍微复杂一点，模型基本就会开始乱摆。

比如你想生成一张餐桌，要求三根蜡烛排成一列，最高的在左边、中等的在中间、最矮的在右边；水果碗要放在中间蜡烛后方，两只盘子分别在左右蜡烛前方，墙上的挂画还要对准水果碗。

面对这种多物体的精细布局，原本的 Flux 往往会把位置关系彻底搞混。加上这套空间奖励机制后，模型就能按部就班把每个物体放在正确的位置上。

类似的多物体场景还有很多，比如让扶手椅、圆桌、落地灯、茶杯和饼干盘各就其位，或者把汽车、路锥、背包、水瓶、地图和外套合理摆放。新方法基本都能把这些前后左右的相对位置摆对。

怎么做到的与开源情况

团队没有重新去训一个巨大的基础生成模型，而是走了一条奖励微调的路线。

他们首先搭建了一个名为 SpatialReward-Dataset 的数据集，里面包含 8 万多组正误对比的偏好对。针对每个空间提示词，除了正确图像，研究人员还会故意篡改生成空间关系错误的图像。

接着，他们用这 8 万多组对比数据训练出了专门的判分奖励模型 SpatialScore。论文数据显示，SpatialScore 在空间关系评估上的表现甚至超过了部分主流商业专有模型。

有了这个专门挑刺的裁判后，团队进一步利用在线强化学习来指导生成模型采样，让模型在生成复杂空间布局时逐步学会避开位置错误。

在开放程度方面，团队已经发布了相关论文，并明确表示计划公开这 8 万多组偏好数据集以及对应的模型权重。

为什么重要

文生图领域过去很长一段时间都在卷画风和质感，但在实际商用出图或者工业设计场景里，物体位置摆不对就等于废稿。

如果你是经常需要精准排版或构图的创作者，一旦这套权重和数据正式开放，基于它微调的文生图工作流将大幅减少靠运气抽卡的时间成本。我们认为这种用轻量奖励模型配合强化学习来打补丁的思路非常聪明，不用推翻重训底座模型就能补齐短板，接下来很可能会引发其他开源生图社区的跟进。