AnchorWeave 開源:靠區域性幾何記憶,用單張圖生成可行走 3D 影片
可互動世界影片框架 AnchorWeave 開源。它僅憑一張起始圖片即可擴展出支援按鍵行走的 3D 世界,通過區域性幾何記憶與多錨點編織控制器,解決了轉頭再看場景就被重新繪製的不一致難題。初版基於 CogVideoX 構建,單次生成 81 幀,程式碼已在 GitHub 開源。

玩遊戲時你轉個身再轉回來,身後的柱子和桌子理應還在原地。但在大部分影片生成模型裡,AI 就像只有幾秒記憶的金魚,視線一移開,剛才的世界就被當場擦掉重畫了。
互動式世界影片框架 AnchorWeave 正式開源。它解決的核心問題很明確:怎樣只用一張起始圖片,就擴展出一個能用鍵盤自由走動的 3D 影片世界,而且怎麼轉頭都不會穿幫。
把大場景拆碎,讓 AI 真正記住空間
以往做長序列、相機可控的 3D 場景影片,主流思路通常是先在後臺重建一個全域性 3D 幾何模型。但問題在於,多視角下的相機位姿和深度估計總有微小誤差,拼在一起就會累積成全是噪點的畸形幾何,反過來徹底毀掉生成畫面。
AnchorWeave 的思路沒有硬磕全域性重建,而是換成了「區域性幾何記憶」。它把場景切成多個更小、更乾淨的區域性塊,只在需要的時候按軌跡檢索出來。
緊接著,它靠一個「多錨點編織控制器」把這些區域性記憶縫合進正在生成的影片裡,協調不同視角間的幾何錯位。這就保證了你在虛擬空間裡調頭巡視時,之前的物理陳設依然穩穩留在原地。
鍵盤控制自由走動,單次生成 81 幀
在使用方式上,AnchorWeave 只需要輸入一張靜止圖作為起點。你可以通過鍵盤上的 WASD 鍵或者方向鍵決定鏡頭的移動軌跡,直接漫遊整個場景。
目前初版單次迭代最多生成 81 幀,換算下來大概是幾秒鐘的片段。不過由於每次生成的區域性空間都有幾何錨點鎖定,你可以通過多次迭代接力渲染,把可行走的影片一直延長下去。
除了常規的第一人稱探索視角,它還支援第三人稱視角輸入。比如給出一個角色在場景裡移動的指令,模型也能生成動作連貫、背景穩定的動態影片。
開發團隊目前已經在 GitHub 放出了完整程式碼和本地部署說明,論文也同步上線。現階段模型基於開源的 CogVideoX 構建,後續還計劃接入更強大的底座模型來改善畫面細節。
為什麼重要
世界模型(World Models)被看作下一代遊戲引擎和機器人模擬器的核心,但「空間一致性」一直是卡死落地的硬骨頭。如果使用者走兩步路地圖就重構一次,互動式體驗就無從談起。
AnchorWeave 最聰明的地方在於做減法。它意識到在當前的神經網路精度下,強行縫合一個大而全的全域性 3D 場景註定會崩塌,不如只在視線所及的範圍內檢索區域性空間,再靠控制器把它織平。
對獨立遊戲開發者和 3D 內容創作者來說,單圖直接拉出一段可走動的 3D 影片,意味著快速概念驗證的門檻被徹底打穿了。你甚至不再需要先在 Blender 裡搭白模。
不過它目前的短板也很現實。基於 CogVideoX 打造讓初版的清晰度和質感稍顯粗糙,81 幀的單次上限也意味著長影片仍需切片迭代。但它至少證明了一件事:讓生成影片具備真正的 3D 空間永續性,不用死磕昂貴的全域性重建也能跑得通。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org