Pantheon360 亮相：靠 3D 快取生成連貫的 360 度全景影片

如果你戴著 VR 頭顯看過 AI 生成的場景，大機率遇到過這種尷尬：頭稍微往旁邊轉一下，原本筆直的門框突然扭曲了，上一秒還很清晰的茶几，下一秒就漂到了半空中。

普通 AI 影片模型就像一隻用吸管看世界的眼睛，視野太窄，鏡頭一轉就容易忘記剛才看到了什麼。5 月 25 日，研究團隊在 arXiv 上公佈了一項新研究 Pantheon360，打算直接換一種解法：不讓 AI 擠在扁平螢幕裡猜死角，而是把整段影片生成直接撐成一個 360 度的全景球體。

把看世界的視野撐成一個球

傳統的透視影片生成器在構建完整的數字孿生時一直很吃力。核心障礙在於視場角太小，一旦要做複雜的大場景，就必須設計極長的鏡頭運動或者多視角機位，而視角一多，畫面與畫面之間的不一致和時間漂移就會被成倍放大。

Pantheon360 換了個思路：既然數字孿生和沉浸式場景最終都需要全方位的環視，為什麼不直接從全景視角切入？

全景覆蓋本身就能提供強有力的全域性上下文，直接把機位軌跡的規劃難度壓了下來。研究團隊讓 Pantheon360 從稀疏的 360 度輸入切入，即使手頭的全景素材並不密集，也能合成出高質量、可控制的 360 度影片。

讓擴散模型專心畫畫，幾何交給骨架

光有全景還不夠，如果只靠擴散模型死記硬背空間結構，鏡頭穿行時依然容易穿幫。Pantheon360 真正聰明的做法，是引入了一個叫「3D 快取」（3D Cache）的顯式結構。

簡單來說，系統先從輸入的稀疏全景資料裡重構出一個粗糙但精準的三維幾何骨架。無論使用者接下來怎麼定義相機的移動路線，這個 3D 快取都會像腳手架一樣立在底層，鎖死物體在三維空間裡的相對位置和透視關係。

有了這層腳手架，負責生成畫面的擴散模型就不用一邊算空間幾何一邊畫細節了。它只需要把精力集中在逼真的紋理細化上，光影、反光和細節的打磨交給模型，而全域性的幾何一致性全由 3D 快取說了算。

測試結果顯示，這種分工明確的架構讓 Pantheon360 在視覺保真度和幾何一致性上都拿出了相當亮眼的表現，鏡頭轉動時幾乎看不到傳統模型的飄移與畸變。

為什麼重要

我們認為 Pantheon360 這篇研究最值得看的，不是單純刷榜的畫質指標，而是它切入空間影片的底層邏輯。

過去大模型圈做三維場景，要麼死磕 NeRF 和 3D 高斯潑濺，建模雖然精準但生成細節全靠死算，缺乏擴散模型那種天馬行空的真實質感；要麼直接拿 Sora 類的透視影片模型硬上，雖然單張看著驚豔，但稍微動動視角空間就塌了。Pantheon360 這種「顯式幾何腳手架 + 擴散紋理細化」的解法，看起來是在兩派之間找到了一個很聰明的平衡點。

對普通創作者和 VR 開發者來說，這意味著未來製作沉浸式漫遊、VR 短片或空間互動的門檻會進一步拉低。你可能只需要幾張全景照片，就能讓 AI 沿著你指定的軌跡，生成一段不會飄忽穿模的高畫質環視影片。

當然，目前這項成果還停留在學術論文階段，對於動態複雜的互動場景、超大尺度的戶外漫遊，3D 快取本身的重構成本和視訊記憶體開銷大機率還有不小的最佳化空間。但它至少給業內的數字孿生和全景生成指明瞭一條路：先用幾何骨架把空間定住，AI 影片才可能真正從螢幕裡跳出來。