互動式 VR 影片世界模型：用頭顯動作即時操控生成畫面，達 11 FPS

以前給 AI 一段話讓它生成影片，你只能當個坐在螢幕前的觀眾；如果想走進去，最多也只能用鍵盤前後左右晃兩下。

研究人員公佈了一項互動式 VR 影片世界模型研究。他們把 VR 頭顯追蹤到的頭部和手部動作直接作為控制訊號，讓 AI 即時生成第一人稱視角的虛擬畫面。

戴上頭顯，系統會記錄你的頭怎麼轉、手怎麼動。你只要再補一句文本提示詞，模型就會把你的動作即時對映進生成的場景裡。

把身體動作變成影片提示詞

傳統的影片世界模型大多隻支援文本或按鍵等粗粒度控制，根本談不上具身互動。

這項研究的核心在於做了一個以人為中心的生成機制。它把頭顯追蹤到的頭部 3D 姿態和關節級的手部動作，與現有的擴散 Transformer 結合起來，專門解決精細的手物互動問題。

在演示中，使用者給出一句話，就能直接進入不同的虛構環境。戴著頭顯揮旗、在海灘舉起火把、蹲下逗貓摸狗、在熱帶海灘鼓掌，甚至和一個騎士打鬥，生成的畫面都會根據身體動作即時變化。

從教師模型蒸餾出的 11 幀世界

為了讓龐大的擴散模型能跟上人的動作，團隊先訓練了一個雙向影片擴散模型作為教師模型，學習複雜的空間控制。

隨後，他們將這個教師模型蒸餾成一個具有因果邏輯的即時互動系統，用來生成第一人稱的互動環境。在實測中，該系統能達到大約 11 FPS 的生成速度。

雖然 11 幀對於 VR 頭顯來說還談不上絲滑，畫質也還在早期階段，但在真人測試中，受試者的任務完成表現以及他們主觀感受到的操控感，都明顯高出以往的基準模型。

為什麼重要

我們認為這項研究最聰明的地方，是沒有繼續在鍵盤控制的死衚衕裡打轉，而是直接把關節級手部追蹤接進了影片擴散模型，推開了所謂「生成式現實」的一角。

對普通使用者和開發者來說，它現在顯然還不適合日常使用。VR 體驗通常需要 72 甚至 90 FPS 才能避免暈動症，11 FPS 的重新整理率和初期的畫質只能作為技術預覽。但如果你在關注具身智慧或下一代虛擬現實，這個方向值得緊密跟蹤。

對整個行業而言，它正在嘗試改寫 XR 內容的底層邏輯。傳統 VR 必須依賴龐大的 3D 建模、骨骼動畫和圖形渲染管線，而這項技術試圖直接用神經網路「腦補」出互動世界。

不過隱患同樣明顯。純影片生成如何保證長久互動下的物理一致性，以及如何在保證畫面細節的同時把延遲壓到毫秒級，依然是擺在生成式 VR 面前的巨大難題。