微软推出 World-R1:用强化学习补齐视频生成的 3D 空间短板
微软推出视频生成框架 World-R1。它无需改动底层模型架构,基于 Wan2.1 并借助强化学习和 3D 模型反馈将空间约束融入生成过程。这解决了视频几何变形问题,大幅降低了世界模拟的训练成本。

World-R1 是微软开源的视频生成框架,专门用来给文生视频模型补上 3D 空间几何能力。
现在的文生视频模型画面已经很逼真,但只要镜头一动,画面往往就露馅:物体几何形变、空间穿模、视角对不上。World-R1 的核心目标,就是让视频模型在生成画面的同时,真正理解并遵守 3D 空间规则。
它解决了什么问题
以往要想让视频模型具备 3D 空间一致性,主流做法往往是直接改造模型底层架构,硬塞进 3D 模块。
这么做不仅需要大量的 3D 标注数据,计算成本也极其高昂,模型很难继续做大。
World-R1 换了一条更聪明的路子。它完全不改动底层视频基础模型的架构,也不依赖大规模 3D 标注数据,而是借助强化学习把空间约束训进模型里。这项工作以开源视频模型 Wan2.1 作为基底。
它是怎么做到的
World-R1 的核心是把 3D 约束转化成强化学习的奖励信号。
研究团队引入了专门为世界模拟定制的纯文本数据集,并采用了名为 Flow-GRPO 的优化方法。
在生成过程中,模型不需要人类或 3D 引擎手动打标签,而是由预训练的 3D 基础模型和视觉语言模型(VLM)充当裁判,实时给出结构一致性反馈,倒逼视频模型修正几何变形。
为了防止模型死板地追求 3D 结构而把画面搞僵硬,团队还设计了周期性解耦训练策略。这套策略在物体的刚性几何一致性和场景本身的动态流动性之间找到了平衡。
评测结果显示,World-R1 在完整保留原有模型画质和视觉表现力的前提下,显著提升了画面的 3D 空间一致性。
去哪里了解和尝试
如果你正在研究世界模型或 3D 视频生成,微软已经将相关研究论文公开在 arXiv 上,编号为 2604.24764v1。
该方案完全基于开源的 Wan2.1,对想在开源视频模型上做空间控制和几何对齐的开发者来说,参考价值很高。
为什么重要
我们认为 World-R1 最聪明的地方在于解耦:它证明了给视频模型注入物理规律和空间常识,未必要推翻重构基础大模型,完全可以通过后训练的强化学习来打补丁。
对于游戏开发者、具身智能和世界模拟的研究者来说,这个思路大幅拉低了从普通文生视频跨越到可交互 3D 世界模拟的计算门槛。如果后续这套强化学习对齐方法能推广到更多开源视频底座上,文生视频穿模变形的通病有望被彻底解决。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org