AI 视频变 3D 世界:新方法抹平画面冲突,单段视频就能重建
研究人员提出 World Reconstruction from Inconsistent Views,能将 AI 生成视频转化为一致的 3D 世界。它通过非刚性几何对齐消除帧间形变与矛盾,单段视频即可重建,且不挑视频模型。最关键的是,它直接把现有视频生成器变成了可漫游的 3D 场景工具。
研究人员提出 World Reconstruction from Inconsistent Views,能将 AI 生成视频转化为一致的 3D 世界。它通过非刚性几何对齐消除帧间形变与矛盾,单段视频即可重建,且不挑视频模型。最关键的是,它直接把现有视频生成器变成了可漫游的 3D 场景工具。
Google DeepMind 推出实验原型 Project Genie,底层由世界模型 Genie 3 驱动。用户输入提示词或上传草图,就能实时生成可操作移动、支持物理交互的虚拟环境。目前生成上限为 60 秒,仅向美国 Google AI Ultra 订阅用户开放。
Google DeepMind 推出 3D 智能体 SIMA 2。它接入 Gemini 核心,能像真人一样看屏幕、用键鼠玩游戏,边操作边推理规划,并在从未接触过的环境中自学提升。目前仅作为研究预览版,向小范围学者和游戏开发者开放。
科技分析拆解了 AI 领域对「世界模型」的路线分歧。World Labs 的 Marble 本质是 3D 高斯泼溅资产流水线;LeCun 押注的是用于规划与预测的认知潜变量;DeepMind 则用 Genie 与 SIMA 2 搭建交互视频模拟器。同一个词背后其实是三种完全不同的方向。
Skywork 发布开源长序列交互式世界模型 Matrix-Game 2.0。上周 DeepMind 的 Genie 3 引发关注但未开源,Matrix-Game 2.0 则主打完全开源,支持 25FPS 与数分钟连续交互,让开发者能直接运行实时可交互的世界模型。
Google DeepMind 发布通用世界模型 Genie 3。输入文字描述后,它能以 720p、24 帧每秒实时生成可自由探索的动态环境,并维持数分钟的一致性。用户还能随时追加文本修改天气或道具。目前它仅作为研究预览版向少数研究者和创作者开放。