跳到正文
IFAI

开源项目

AnchorWeave 开源:靠局部几何记忆,用单张图生成可行走 3D 视频

首次发布 传播指数 48

可交互世界视频框架 AnchorWeave 开源。它仅凭一张起始图片即可扩展出支持按键行走的 3D 世界,通过局部几何记忆与多锚点编织控制器,解决了转头再看场景就被重新绘制的不一致难题。初版基于 CogVideoX 构建,单次生成 81 帧,代码已在 GitHub 开源。

AnchorWeave 开源:靠局部几何记忆,用单张图生成可行走 3D 视频
图:arxiv.org

玩游戏时你转个身再转回来,身后的柱子和桌子理应还在原地。但在大部分视频生成模型里,AI 就像只有几秒记忆的金鱼,视线一移开,刚才的世界就被当场擦掉重画了。

交互式世界视频框架 AnchorWeave 正式开源。它解决的核心问题很明确:怎样只用一张起始图片,就扩展出一个能用键盘自由走动的 3D 视频世界,而且怎么转头都不会穿帮。

把大场景拆碎,让 AI 真正记住空间

以往做长序列、相机可控的 3D 场景视频,主流思路通常是先在后台重建一个全局 3D 几何模型。但问题在于,多视角下的相机位姿和深度估计总有微小误差,拼在一起就会累积成全是噪点的畸形几何,反过来彻底毁掉生成画面。

AnchorWeave 的思路没有硬磕全局重建,而是换成了「局部几何记忆」。它把场景切成多个更小、更干净的局部块,只在需要的时候按轨迹检索出来。

紧接着,它靠一个「多锚点编织控制器」把这些局部记忆缝合进正在生成的视频里,协调不同视角间的几何错位。这就保证了你在虚拟空间里调头巡视时,之前的物理陈设依然稳稳留在原地。

键盘控制自由走动,单次生成 81 帧

在使用方式上,AnchorWeave 只需要输入一张静止图作为起点。你可以通过键盘上的 WASD 键或者方向键决定镜头的移动轨迹,直接漫游整个场景。

目前初版单次迭代最多生成 81 帧,换算下来大概是几秒钟的片段。不过由于每次生成的局部空间都有几何锚点锁定,你可以通过多次迭代接力渲染,把可行走的视频一直延长下去。

除了常规的第一人称探索视角,它还支持第三人称视角输入。比如给出一个角色在场景里移动的指令,模型也能生成动作连贯、背景稳定的动态视频。

开发团队目前已经在 GitHub 放出了完整代码和本地部署说明,论文也同步上线。现阶段模型基于开源的 CogVideoX 构建,后续还计划接入更强大的底座模型来改善画面细节。

为什么重要

世界模型(World Models)被看作下一代游戏引擎和机器人模拟器的核心,但「空间一致性」一直是卡死落地的硬骨头。如果用户走两步路地图就重构一次,交互式体验就无从谈起。

AnchorWeave 最聪明的地方在于做减法。它意识到在当前的神经网络精度下,强行缝合一个大而全的全局 3D 场景注定会崩塌,不如只在视线所及的范围内检索局部空间,再靠控制器把它织平。

对独立游戏开发者和 3D 内容创作者来说,单图直接拉出一段可走动的 3D 视频,意味着快速概念验证的门槛被彻底打穿了。你甚至不再需要先在 Blender 里搭白模。

不过它目前的短板也很现实。基于 CogVideoX 打造让初版的清晰度和质感稍显粗糙,81 帧的单次上限也意味着长视频仍需切片迭代。但它至少证明了一件事:让生成视频具备真正的 3D 空间持久性,不用死磕昂贵的全局重建也能跑得通。

来源 (1)

  1. [1]

每日 AI 内容精选