英伟达开源 3D 世界生成器 Lyra 2.0：视频转 3D 场景，能直接训机器人

拿手机随手拍一段房间视频，几分钟后就能得到一个可以自由走动、缩放的 3D 虚拟场景。更神奇的是，哪怕你在这个数字空间里绕了一大圈、过了一个小时再走回起点，茶几上的水杯依然稳稳待在原处，没有变形，也没有凭空消失。

这就是英伟达在 4 月 14 日开源的 3D 世界生成框架 Lyra 2.0 想解决的事情。它能直接读取一段连续视频，将其转化为可交互、高一致性的 3D 环境。

治好 AI 视频的「失忆症」与「手抖」

用视频生成 3D 场景听起来很美好，但在业内一直有个大难题：长轨迹下的场景崩溃。

以前的模型在探索长路线时，常常会患上「空间遗忘症」。当镜头离开客厅走廊，客厅就从模型的短期记忆里被挤出去了；等镜头再转回客厅，AI 只能靠猜，原本的木桌很可能变成玻璃茶几。

同时，由于自回归生成会不断累积微小误差，画面还会出现「时间漂移」，走着走着整个空间的几何结构就歪了。

Lyra 2.0 的聪明之处在于把几何记忆与视觉渲染拆开处理。它为每一帧维护专属的 3D 几何信息，只用它来做空间索引和特征检索，负责提醒模型「这里以前长什么样」。

针对漂移问题，团队在训练时给模型喂入它自己生成的降级残次输出，强迫它学会自我纠错，而不是把上一帧的歪曲继续放大。

随后，系统利用前馈重建技术把视频直接映射为 3D 高斯泼溅（3D Gaussian Splatting）。所有的物体细节被固定在真实的三维空间里，彻底摆脱了传统视频生成的飘忽不定。

把视频变成机器人的「练兵场」

重建出 3D 场景只是第一步，英伟达的真正目标是具身智能。

Lyra 2.0 生成的 3D 场景可以直接导出，无缝导入到英伟达的机器人仿真平台 Isaac Sim 中。

你可以把 Isaac Sim 理解成机器人的「虚拟健身房」。过去搭建一个逼真的机器人训练场景，要么靠 3D 美术师手工堆资产，要么用昂贵的多相机阵列激光扫描，费时费力。

现在，只要一段实拍视频，机器狗或轮式机器人就能立刻被放进刚生成的 3D 世界里做自主导航和避障训练。

更让人意外的是它的轻量化。整个框架模型体积只有惊人的 131MB，对算力极其友好，甚至在绝大多数消费级显卡上都能顺利跑起来。

为什么重要

我们认为，Lyra 2.0 最漂亮的地方不在于生成画质有多惊艳，而在于打通了物理世界数据到机器人训练环境的关键管道。

对独立开发者和机器人研究团队来说，3D 仿真环境的构建门槛被瞬间拉平了。你不需要专业的扫描设备，只要随手拍一段库房或办公室视频，就能低成本克隆出一座数字孪生空间供算法训练。131MB 的体量也意味着它几乎没有部署负担。

从行业竞争来看，这一步展现了英伟达独特的生态护城河。当其他厂商还在拼视频生成时长和单帧清晰度时，英伟达已经把视频生成工具做成了 Isaac Sim 的前端数据工厂。生成视频不是目的，把视频沉淀为训练下一代物理 AI 的高质量三维资产才是它的底牌。

不过也需要看清局限。Lyra 2.0 目前生成的是静态几何与外观，场景内的物体尚不具备复杂的物理交互属性，机器人能做导航，但还无法模拟抓取碰撞。即便如此，作为物理 AI 数据基建的第一步，它已经足够实用。