跳到正文
IFAI

開源專案

AnchorWeave 開源:靠區域性幾何記憶,用單張圖生成可行走 3D 影片

首次發布 傳播指數 48

可互動世界影片框架 AnchorWeave 開源。它僅憑一張起始圖片即可擴展出支援按鍵行走的 3D 世界,通過區域性幾何記憶與多錨點編織控制器,解決了轉頭再看場景就被重新繪製的不一致難題。初版基於 CogVideoX 構建,單次生成 81 幀,程式碼已在 GitHub 開源。

AnchorWeave 開源:靠區域性幾何記憶,用單張圖生成可行走 3D 影片
圖:arxiv.org

玩遊戲時你轉個身再轉回來,身後的柱子和桌子理應還在原地。但在大部分影片生成模型裡,AI 就像只有幾秒記憶的金魚,視線一移開,剛才的世界就被當場擦掉重畫了。

互動式世界影片框架 AnchorWeave 正式開源。它解決的核心問題很明確:怎樣只用一張起始圖片,就擴展出一個能用鍵盤自由走動的 3D 影片世界,而且怎麼轉頭都不會穿幫。

把大場景拆碎,讓 AI 真正記住空間

以往做長序列、相機可控的 3D 場景影片,主流思路通常是先在後臺重建一個全域性 3D 幾何模型。但問題在於,多視角下的相機位姿和深度估計總有微小誤差,拼在一起就會累積成全是噪點的畸形幾何,反過來徹底毀掉生成畫面。

AnchorWeave 的思路沒有硬磕全域性重建,而是換成了「區域性幾何記憶」。它把場景切成多個更小、更乾淨的區域性塊,只在需要的時候按軌跡檢索出來。

緊接著,它靠一個「多錨點編織控制器」把這些區域性記憶縫合進正在生成的影片裡,協調不同視角間的幾何錯位。這就保證了你在虛擬空間裡調頭巡視時,之前的物理陳設依然穩穩留在原地。

鍵盤控制自由走動,單次生成 81 幀

在使用方式上,AnchorWeave 只需要輸入一張靜止圖作為起點。你可以通過鍵盤上的 WASD 鍵或者方向鍵決定鏡頭的移動軌跡,直接漫遊整個場景。

目前初版單次迭代最多生成 81 幀,換算下來大概是幾秒鐘的片段。不過由於每次生成的區域性空間都有幾何錨點鎖定,你可以通過多次迭代接力渲染,把可行走的影片一直延長下去。

除了常規的第一人稱探索視角,它還支援第三人稱視角輸入。比如給出一個角色在場景裡移動的指令,模型也能生成動作連貫、背景穩定的動態影片。

開發團隊目前已經在 GitHub 放出了完整程式碼和本地部署說明,論文也同步上線。現階段模型基於開源的 CogVideoX 構建,後續還計劃接入更強大的底座模型來改善畫面細節。

為什麼重要

世界模型(World Models)被看作下一代遊戲引擎和機器人模擬器的核心,但「空間一致性」一直是卡死落地的硬骨頭。如果使用者走兩步路地圖就重構一次,互動式體驗就無從談起。

AnchorWeave 最聰明的地方在於做減法。它意識到在當前的神經網路精度下,強行縫合一個大而全的全域性 3D 場景註定會崩塌,不如只在視線所及的範圍內檢索區域性空間,再靠控制器把它織平。

對獨立遊戲開發者和 3D 內容創作者來說,單圖直接拉出一段可走動的 3D 影片,意味著快速概念驗證的門檻被徹底打穿了。你甚至不再需要先在 Blender 裡搭白模。

不過它目前的短板也很現實。基於 CogVideoX 打造讓初版的清晰度和質感稍顯粗糙,81 幀的單次上限也意味著長影片仍需切片迭代。但它至少證明了一件事:讓生成影片具備真正的 3D 空間永續性,不用死磕昂貴的全域性重建也能跑得通。

來源 (1)

  1. [1]

每日 AI 內容精選