輝達開源 3D 世界生成器 Lyra 2.0：影片轉 3D 場景，能直接訓機器人

拿手機隨手拍一段房間影片，幾分鐘後就能得到一個可以自由走動、縮放的 3D 虛擬場景。更神奇的是，哪怕你在這個數字空間裡繞了一大圈、過了一個小時再走回起點，茶几上的水杯依然穩穩待在原處，沒有變形，也沒有憑空消失。

這就是輝達在 4 月 14 日開源的 3D 世界生成框架 Lyra 2.0 想解決的事情。它能直接讀取一段連續影片，將其轉化為可互動、高一致性的 3D 環境。

治好 AI 影片的「失憶症」與「手抖」

用影片生成 3D 場景聽起來很美好，但在業內一直有個大難題：長軌跡下的場景崩潰。

以前的模型在探索長路線時，常常會患上「空間遺忘症」。當鏡頭離開客廳走廊，客廳就從模型的短期記憶裡被擠出去了；等鏡頭再轉回客廳，AI 只能靠猜，原本的木桌很可能變成玻璃茶几。

同時，由於自迴歸生成會不斷累積微小誤差，畫面還會出現「時間漂移」，走著走著整個空間的幾何結構就歪了。

Lyra 2.0 的聰明之處在於把幾何記憶與視覺渲染拆開處理。它為每一幀維護專屬的 3D 幾何資訊，只用它來做空間索引和特徵檢索，負責提醒模型「這裡以前長什麼樣」。

針對漂移問題，團隊在訓練時給模型喂入它自己生成的降級殘次輸出，強迫它學會自我糾錯，而不是把上一幀的歪曲繼續放大。

隨後，系統利用前饋重建技術把影片直接對映為 3D 高斯潑濺（3D Gaussian Splatting）。所有的物體細節被固定在真實的三維空間裡，徹底擺脫了傳統影片生成的飄忽不定。

把影片變成機器人的「練兵場」

重建出 3D 場景只是第一步，輝達的真正目標是具身智慧。

Lyra 2.0 生成的 3D 場景可以直接匯出，無縫匯入到輝達的機器人模擬平臺 Isaac Sim 中。

你可以把 Isaac Sim 理解成機器人的「虛擬健身房」。過去搭建一個逼真的機器人訓練場景，要麼靠 3D 美術師手工堆資產，要麼用昂貴的多相機陣列雷射掃描，費時費力。

現在，只要一段實拍影片，機器狗或輪式機器人就能立刻被放進剛生成的 3D 世界裡做自主導航和避障訓練。

更讓人意外的是它的輕量化。整個框架模型體積只有驚人的 131MB，對算力極其友好，甚至在絕大多數消費級顯示卡上都能順利跑起來。

為什麼重要

我們認為，Lyra 2.0 最漂亮的地方不在於生成畫質有多驚豔，而在於打通了物理世界資料到機器人訓練環境的關鍵管道。

對獨立開發者和機器人研究團隊來說，3D 模擬環境的構建門檻被瞬間拉平了。你不需要專業的掃描裝置，只要隨手拍一段庫房或辦公室影片，就能低成本克隆出一座數字孿生空間供演算法訓練。131MB 的體量也意味著它幾乎沒有部署負擔。

從行業競爭來看，這一步展現了輝達獨特的生態護城河。當其他廠商還在拼影片生成時長和單幀清晰度時，輝達已經把影片生成工具做成了 Isaac Sim 的前端資料工廠。生成影片不是目的，把影片沉澱為訓練下一代物理 AI 的高質量三維資產才是它的底牌。

不過也需要看清侷限。Lyra 2.0 目前生成的是靜態幾何與外觀，場景內的物體尚不具備複雜的物理互動屬性，機器人能做導航，但還無法模擬抓取碰撞。即便如此，作為物理 AI 資料基建的第一步，它已經足夠實用。