NVIDIA 推出自由視角模型 QUEEN：任意角度看影片，還能流式傳輸

看球賽或者演唱會轉播時，很多人都想過要是能自己伸手拉個視角就好了。以往想把多機位影片拼成可以隨便轉著看的 3D 場景，要麼需要伺服器算半天，要麼壓縮得滿地馬賽克。

NVIDIA 研究院和馬里蘭大學在 NeurIPS 2024 上展示了一個叫 QUEEN 的 AI 模型，試圖把這個流程徹底打通。

5 秒訓練跑出 350 幀

QUEEN 是一個針對動態場景的 3D 重建模型，它的目標是支援自由視角影片的即時流媒體傳輸。

傳統的自由視角影片通常依靠分佈在不同角度的多個攝像頭拍攝，比如影棚裡的機位陣列、倉庫的監控網，或者辦公室的多視角視訊會議裝置。

過去這類方案有個老大難問題：要麼記憶體消耗巨大、無法做到即時串流，要麼為了減小檔案體積把畫質壓得很爛。

根據研究團隊在 NVIDIA Tensor Core GPU 上的評測，只要給它同一場景不同角度的 2D 影片片段，QUEEN 通常只需要不到 5 秒的訓練時間，就能以每秒約 350 幀的速度渲染出自由視角影片。

這個速度和壓縮表現，意味著它能把高質量的 3D 視覺流，直接從伺服器即時傳輸到使用者的終端裝置上。

聰明地偷懶：只算動起來的地方

QUEEN 之所以能跑這麼快，核心邏輯說白了就是學會了工程上的偷懶。

在大多數現實場景裡，背景的大部分元素其實是不動的。一幀一幀切開看，大部分畫素前後根本沒變化。

QUEEN 會自動追蹤並直接複用這些靜態區域的渲染結果，把有限的算力全集中在那些隨時間發生變化的內容上。

即便畫面裡有極難處理的動態細節，比如四處飛濺的火花、跳動的火焰，或者毛茸茸的小動物，它也能在保持高畫質的同時順暢傳輸。

NVIDIA 表示這項技術可以用在很多地方。比如體育直播裡的瞬間多角度回放、戴上 VR 頭顯身臨其境看演唱會。

又比如在遠端視訊會議中演示做飯或摺紙，觀眾可以自己挑選最舒服的觀察角度；在工廠或倉庫裡，遠端遙操作機器人的工人也能借此更準確地判斷空間景深。

官方透露，QUEEN 的相關程式碼很快會在專案頁面上開源。

為什麼重要

我們認為，這項研究最聰明的地方，是沒有去死磕更龐大的神經網路來硬猜全場，而是老老實實做了一套極其剋制的工程最佳化：把不變的背景複用掉，省下算力去死磕火焰和毛髮這些最容易穿幫的動態死角。

對普通觀眾和 XR 創作者來說，自由視角影片一直屬於看起來美好、實際做起來貴死人的技術。如果多機位輸入後只要 5 秒訓練就能跑出 350 幀，意味著賽事直播和沉浸式互動內容的製作成本會被大幅拉低，普通人離在螢幕或頭顯裡自由拖拽機位看球賽的日子又近了一步。

對空間計算行業而言，現在的沉浸影片大多還是固定機位拍攝的預錄內容。QUEEN 證明了在伺服器端做極速輕量化重建、再把畫面流式推到移動端的可行性，這很可能會成為下一代 3D 視訊會議和機器人遙控的標準基礎設施。

不過看起來它目前的短板也很明顯：這套流程高度依賴多視角相機的物理架設，同時重度繫結 Tensor Core 算力。在真實的家用弱網環境和移動端接收端上，多路推流的實際延時和畫質衰減能控制到什麼程度，還得等程式碼開源後看實測資料。