跳到正文
IFAI

AI科研

Adobe 與 JHU 釋出影片世界模型 Wonder:單圖即時生成可互動場景

首次發布 傳播指數 36

Adobe 與約翰霍普金斯大學公佈影片世界模型 Wonder。輸入一張圖片或影片,它能以 16 FPS 即時生成可漫遊的世界。最值得關注的是它解決了相機精準控制與長程記憶問題,使用者轉一圈探索新區域再走回來,原來的景物依然保持一致。

圖:youtube.com

想像一下,你隨便拍一張街景照片扔給電腦,按一下鍵盤上的 W 鍵,就能像玩第一人稱遊戲一樣直接走進照片深處。拐過街角探索完一圈再退回來,最初那家咖啡館的招牌依然穩穩立在原地。

這不是遊戲引擎預先烘焙好的 3D 資產,而是影片生成模型在即時一幀幀硬算出來的畫面。2026 年 7 月 28 日,Adobe 聯合約翰霍普金斯大學釋出了全新的影片世界模型 Wonder,主打的就是這種低延遲、高一致性的即時可互動探索。

只要給一張靜止影像或一段參考影片,Wonder 就能在 0.5 秒恆定延遲下,以每秒 16 幀的速度持續生成畫面。你甚至可以用鍵盤隨意調整 6 自由度機位,在生成的虛擬空間裡自由遊蕩一分多鐘,場景依然不會崩塌。

把相機動作變成畫面餵給 AI

今年世界模型賽道非常熱鬧,Google 的 Genie 3 以及 Matrix 等專案都在死磕即時生成。但大家普遍卡在兩個老大難問題上:相機控制不聽話,以及模型轉頭就忘事。

以往的做法通常是把相機的空間座標和旋轉角度變成一串數字餵給模型,但神經網路對純數學位姿的感知非常遲鈍,稍微晃一下機位,畫面就容易漂移甚至變形。Wonder 換了個聰明的思路,引入了一套稠密座標場系統,直接把相機的平移和旋轉渲染成逐幀對齊的 3D 視覺訊號。說白了,AI 不是在讀枯燥的資料,而是親眼看見了相機正在怎麼移動。

另一個讓人頭疼的問題是記憶力。很多人玩過影片生成就知道,AI 鏡頭往前推容易,但只要轉一圈再回過頭,剛才的房子可能就變成了大樹。Wonder 在生成過程中保留了完整的歷史鍵值快取,並通過高效的稀疏注意力機制做按需檢索。無論鏡頭在虛擬世界裡晃盪了多久,每一步推斷需要呼叫的上下文計算量都保持恆定,這也是它能把延遲牢牢鎖死在 0.5 秒的關鍵。

為了兼顧畫質與速度,團隊將龐大的教師模型蒸餾成輕量學生模型,並結合多學生專家混合架構和 GAN 正則化來修補漂移,儘量留住大模型原有的畫面多樣性與穩定性。

現成影片也能拿來重新拍攝

除了給一張圖生成世界,Wonder 還有個讓人眼前一亮的能力:以一段現成的影片作為輸入,進行影片到影片的即時重拍。

在公開的演示中,輸入一段原有的打鬥動作鏡頭,Wonder 能保留角色原本的動作軌跡,同時允許使用者在鍵盤上敲擊方向鍵,即時切換全新的機位與視角來環繞觀察。這意味著你可以像拿著攝像機在真實片場穿梭一樣,把一段二維影片重新機位排程一遍。

不過從目前的生成效果來看,它離真正商用還有肉眼可見的差距。在動漫風格、數字藝術以及寫實場景的測試裡,畫面的邊緣位置依然存在明顯的噪點與模糊偽影,精細紋理在劇烈移動時偶爾還會出現閃爍。

此外,專案頁面雖然掛出了程式碼與模型即將釋出的字樣,但有社群觀察者指出,Adobe 過去在開源核心大模型上的動作並不算積極,這次究竟是徹底開放權重還是隻放 demo,還需要等官方進一步兌現。

為什麼重要

如果說之前的文生影片工具更像在生成一段段不可修改的錄影帶,那 Wonder 這類世界模型就是在生成一套具有物理空間感的可互動環境。

對影視創作者和遊戲開發者來說,這種即時機位變換的價值非常直接。以後做早期鏡頭預演或遊戲場景原型設計,可能不再需要耗費幾天時間去搭建 3D 白模,丟一段粗剪影片或幾張概念圖進去,就能即時調整攝影機機位尋找最佳構圖。在機器人模擬和自動駕駛訓練中,這種能對操作做出合理反饋的即時生成環境同樣極具想像力。

從行業競爭來看,Wonder 證明了通過視覺化相機條件和稀疏檢索記憶,世界模型的長程一致性是可以被工程手段有效壓制的。它不再盲目追求離線渲染的極致畫質,而是把重心放在了高幀率與極低延遲的互動體驗上。

我們認為,目前最大的不確定性依然在於 Adobe 的開源態度和實際算力門檻。如果後續只提供封閉 API 或雲端演示,開發者很難將其真正整合到複雜的工業流水線中;而一旦模型能夠本地部署並結合即時神經渲染技術,傳統 3D 資產製作的生產關係很可能會被徹底改寫。

來源 (2)

  1. [1]
    arxiv.org(在新分頁開啟)原文arxiv.org
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選