騰訊推出世界模型 WorldCrafter：引入隱式 3D 記憶，回頭看場景不再變形

玩過第一人稱開放世界遊戲的人都知道，不管你跑多遠，回過頭來那棵樹、那棟房子都該在原地。

但這在 AI 生成影片的世界裡，一直是個老大難問題。之前的影片世界模型，只要鏡頭轉個身，背後的東西就很容易被模型「忘掉」，再轉回來時往往面目全非，門窗換了位置，建築甚至直接融化變形。

騰訊團隊釋出了全新的互動式影片世界模型 WorldCrafter，專門衝著這個痛點開刀。

回頭看一眼，世界還是原來的樣子

WorldCrafter 的做法很有意思。它既支援用一段文字提示詞生成場景，也能只靠一張靜態參考圖作為起點。接著，你就可以通過相機軌跡去控制視角，在場景裡進行分鐘級別的漫遊探索。

更關鍵的是，不管是靜止的街景，還是走動的人物，只要物體離開視野再重新入畫，它依然能認出這是剛才那個東西。

為了驗證到底有沒有真正穩住空間，團隊還特意做了一項檢驗：從生成的影片裡直接反向重建出 3D 點雲和相機軌跡。結果顯示，整個場景的幾何結構和視角對齊相當紮實，沒有出現傳統生成影片常見的空間錯亂。

在由 145 個場景和 725 條相機軌跡構成的基準測試中，WorldCrafter 在長時段重訪一致性和相機控制精度上都明顯壓過現有基線模型，並在綜合 VBench 測試中拿到了最高分。

藏在記憶裡的 3D 座標系

能做到這點，核心在於它設計的一套「隱式 3D 感知記憶」機制。

以往很多方法要麼死磕多幀影片的時序連貫，要麼費勁去做顯式的深度估計和幾何變形拼貼，不僅計算笨重，稍有誤差就容易偽影亂飛。

WorldCrafter 則走了一條巧路。它聯合訓練了一個記憶編碼器和一個基於姿態的讀取模組，當你把鏡頭轉向某個新角度時，模型會主動根據目標視角，去歷史畫面裡提取對應的記憶標記，直接餵給影片生成器。

說白了，它不需要在表面硬建一套複雜的 3D 模型，而是讓 AI 在大腦裡把看過的場景打上空間座標印記，隨用隨查。

目前這個專案已經開放了主頁和程式碼，提供基礎模型以及經過幾步蒸餾的快速模型，後者能支援即時的流式互動。不過門檻也不低，整套元件加起來需要大約 147GB 儲存空間。

為什麼重要

從技術路徑來看，我們認為 WorldCrafter 最聰明的地方在於，它避開了吃力不討好的純顯式 3D 幾何建模，用隱式記憶給影片擴散模型補上了最缺的「空間感」。

對開發者和遊戲行業來說，這意味著純靠 AI 即時生成可互動遊戲關卡、虛擬片場邁出了實質性的一步。你不再只是看一段播片，而是真的能拿著手柄在 AI 腦補出來的環境裡四處走動，不用擔心轉個頭世界就崩塌。

不過，現在普通人想在本地跑起來門檻依然非常高。高達 147GB 的龐大體量和對本地顯示卡的嚴苛要求，註定它現階段更適合有算力儲備的研究團隊和工業級創作者去嚐鮮。

但它給整個世界模型賽道立下了一個標杆：未來的 AI 虛擬世界，光有逼真的畫質和動態已經不夠了，記住自己剛才畫過什麼，才是通往真正可互動環境的硬門檻。